2021年01月24日

PythonやRubyなどでのWebスクレイピングは有効に使えるのか?

Webスクレイピングとは他人のWebサイトからデータを抽出する技術で、最近はユーチューブなどのプログラミングを教える動画などでも、多くの人が取り上げている人気の技術だ。

今はPythonが人気なので、Pythonしかスクレイピングが出来ないように見えるが、Rubyや他のスクリプトでも出来るらしい。

こうなると大学生が就活などでも覚えないといけない技術だと思い、やったり動画配信をしたりするかもしれないが、プログラミングソースの公開もだが、多くの無駄がありそうだ。要は就活でのスキル披露にしか過ぎない。


スクレイピングにも複数の問題点がある。それは…


【問題点1】スクレイピングをされる側が禁止している

「スクレイピングは違法!」という意見もあるが、
例えば株価や為替価格には著作権が無いので微妙だ。

だが営業妨害などと言われたら終わりなので、
禁止しているサイトではやらない方が良い。

しかしこれをイケメンな動画配信者が言ってはいるが、
動画では禁止のサイトからデータを拝借している。

だが信者(熱心なファン)らは
「こんな優良な無料情報は広告で儲けて欲しい」
などのコメントを多くしている。

禁止しているかの確認方法だが「robot.txtやページに
禁止とある」という人がいるが、これも分かりづらい。


【問題点2】抽出するタグが分かりづらい

世の中の多くのWebサイトはスクレイピング用に
作られている訳ではないので、タグもそのようには
作られていない。

例えば実際に抽出する方法は、ドル円の価格が
<div class=hed>108.0091…などという、そのサイト
独特の訳の分からないタグで、複数で使うhedを
usd-jpy_1などと親切に定義をしてくれはしない。

実際に仕事でスクレイピングをするなら、
スクレイピングされる自社サイトを作った方が
無難だが、無知な管理職は流行に飛び乗り、
違法な事をさせる。


【問題点3】そもそも多くのサイトが似たような事をしている

これをいったらおしまいだが、今までの既存の多くの
サービスで事足りる気がする。

成功者の金持ちでさえ、ポータルサイトは借りた方が良く、
自作は無駄だという。確かに検索大手がやっているような
動画サイトなどは、競争相手も多いので無駄のように思える。


だが例えば為替価格と原油価格を、同じチャートで表示するような
Webサイトが多くあるようには思えない。

狭い分野だがニーズがある
ニッチを探した方が良い



スクレイピングは人気があり、説明も多くあるので、
プログラミングの基礎知識もだが、多くの人と同じような
説明をWebサイトですると在庫損になるかもしれない。

プログラミングもFXなどの投資のエントリーも、
古い考え方の人のように、一挙に多くエントリーすると、
大損するので、みんながやっていない新しい事を、

ナンピン買いのように少しづつする

の方が良いのかもしれない。

多くの配信者はナンピンを駄目だとするが、
これが今、仮想通貨のBTCで儲かっている人の
パターンであろう?

プログラミングもトレードもシナリオというのがあり、
織田信長のような勝負勘が無く、自分を守っている
だけでは勝てないし、新しい武器を導入しないと、
いくら領土を拡大しても武田勝頼のように滅亡する。

スクレイピングする前に歴史を学んだ方が良いね。
しかも平和ボケ左翼が嫌う戦記ね。これこそ絶好の
タイミングをつかむ必勝法だ。

そしてプログラマーには著作権違反などの違法という
リスクと、そのわりに儲からない低リターンがある。

特に企業などは著作権違反をパワハラ的にやらせるので、
損切の転職が大事だ。また証拠を書面や音声で残さないと、
ブラック上司はトコトン逃げる。

「スクレイピングよりも証拠を取る方に労力をかけろ」となる。
こうなるとリスクが高そうなFXなどの投資の方が、下請けの
プログラミング仕事よりもリスクが低いかもしれない。

データサイエンティストといっても、
ノウハウコレクターな無駄があり、
勝負師の方がマシかもね…



という事になる。

以上



令和3年 皇紀2681年 [西暦2021年] 1月24日(日)
著者:城神YU
posted by 城神YU at 08:09| Comment(0) | プログラミング | このブログの読者になる | 更新情報をチェックする

2021年01月23日

【大企業の防犯に対する杜撰な体質】今日は電子メールの日【私のPC履歴】


GoTo_Web_n-s.png


今日はメールの日らしい。そういえば大企業などでは、やっと暗号書類.zipをメール添付するPPAPが禁止されるらしい。客には高値なクラウドを勧めながら、業者はガラケーやFAXなどで仕事をしている状態だ。

これは無知な社員らが、ついうっかりウイルス入りの添付書類を開いてしまい、社内LANに感染しまくるからだ。私もそういう風景は幾度か目撃した。

私がメールというか、PCを使い始めたのは1993年頃で、その前にはワープロは使っていたが、カメラ系の大企業によるMacの無料講座を受けた。

そこなどで売られていた大手PC周辺機器メーカーによるOSの基本操作の教材が1万数千円って高すぎだと思った。

今でもトレードソフトだけ説明の電子書籍が9千円や、新聞広告ではPythonの説明だけ紙書籍が数千円だが、メールの使い方からSEOやWebサイトの作り方などの数多くの情報が集まった情報商材は、1万円でも高いと言われる矛盾した状態だ。

プログラミング言語を1つ習得の教室は、2か月通学で30万円くらいなのにね。そもそも政治家がIT担当でさえPCの基本的な使い方を覚えるPC教室に行く低レベルな状態だ。

話は戻るが私は、MacDTPという印刷物を作る仕事で1993年から、ホームページ作成は1994年頃からし始めた。

1995年頃からメールを使い始めたが、その前に1994年にPC通信を使い、その当時のメールはソフトの数が少なかったり有料だった。

ネット接続自体がMacのTCP/PPPという、FAXモデムでダイヤルアップというアクセスポイントに接続の電話代課金方式で、1分10円ぐらいかかったし…

そして1990年代後半になると、セットトップボックスというインターネットTVで見れるWebページの記事を収集するリンク集を作る副業などを、自宅でメールでした。

その仕事を依頼した大企業に対しては、その電話代を前もって請求したけどね。しかし昔はこういう見積もりが、サービスの数が少ないので立てづらかった。今は簡単なのにやらないのが多すぎる。

また1998年になるとPCメーカーの大手のWebページの更新や、CGIの設置などの仕事を紹介された。

ここの本社部門で大量のウイルス感染をしていた。メールも社内用と社外用には分けていたようだが、それでも感染だ。

たぶんWebデザイナーである私に、Macを使わずにWindows95という当時はもう古いPCを使えや、派遣は「重要書類が多いので周りを見るな」とヘイト発言をするわりに、財形UNIXサーバーの管理者パスワード(フレーズは子供の名前)を張り紙しているくらいなので…

そのくせ保険レディーとは談笑したり、イケメン社員はPCで麻雀をしている状態だ。保険レディーといえば毒カレーや数十億円の詐欺師もいたっけ…

他のPCのレンタル大手でも昼飯中に勧誘がうるせーし…

ちなみに保険は大損します。反原発左翼が「電力会社は保険も入ってない」などと言ってましたが、震災で保険金を未払いも多かったです。

また特に医療保険なんかは、日本の世界最長寿や私の周りをみても、病気なんてそんなに多くする人がいないので保険は大損です。

保険や年金型投信に入るなら、数年で元が取り返せて更に得な国民年金基金や年金を払った方が得です。

左翼はカジノを批判するくせに、ギャンブルが元な保険は批判しない。あれは多くの人から掛け金をかき集めて、親である保険会社が得をする方式です。

方やメルマガなんてのは優しくて、閲覧者が興味を持たないと勧誘が出来ない「オプト・イン」という方式に対し、訪問勧誘や電話勧誘はオプト・アウトという客に断らなくても勧誘は出来て、拒否すれば断れるというのが、法律では建前ですが、実際に断った証拠がメールほど無いのが現実です。

そのくせ無料なメルマガでさえ、発行者の住所や氏名まで出せという厳しさです。例えば貧困なサラリーマンの女性などがメルマガを副業で発行した場合に、ストーカー被害に遭ったら、政府はどう責任を取りますか?

これは外部に個人情報を出すのではなく、メールアカウントなどを発行する運営者に対して、SMSで登録するなどの個人情報を出すが、情報流出の責任を負う方式にすれば良いのです。

外部に出せば、馬鹿アンチの掲示板に犯行予告を書き込んでいるような連中にも個人情報を晒す事になるでしょう…

現在も防犯上、問題なのはセキュリティの技術ではなく、運用です。しかし企業は大企業病という、「個人情報は他の会社でも流出している」などの喫煙者の言い訳の「化粧も臭い」という見苦しい無責任な旧体質です。

しかしメール以外にも今は通話アプリでも添付書類が送れます。こっちの方も全面禁止にはしないのでしょうか?

世の中というのは印象が強い物は規制しますが、これはエビデンス(科学的根拠)に基づいていません。だから病死していない原発事故は騒ぎ、毎年10万人も死亡の喫煙は騒がない矛盾した状態が、戦後リベラル社会です。

そもそもその通話アプリを運営している企業が、個人情報を流出していました。そして武漢コロナと同様に、コンピューターウイルスも昔から中国などから来ていました。

またメール以上に大きく報道するべきものがWebサーバーの感染や詐欺サイトですが、ペイによる貯金盗難事件で警察が詐欺サイトを閲覧していないか?と調査するとマスコミは「被害者を疑っている!」と文句を言いだしました。

しかし世の中の多くの人は、マスコミが警告報道をしないので、詐欺サイトの存在を知らないのです。

だから風俗な人の読者が多かったり、麻薬や武漢コロナに感染しても、また感染するような娯楽をして炎上させるような芸能人などが多くいるのでしょう。

メールやメルマガよりも、そういう麻薬や風俗を密売するような動画やSNSなどを規制した方が良いのでは?ただしそういうメルマガもあります。

そのくせ真面目に政治批判をしている動画やSNSは規制するというのが、戦後リベラルの矛盾です。

またSNSの凍結解除なども面倒なのは運営者が「このメールは送信用です。返信しないでください」と自分勝手な事を言い、「Webフォームで凍結解除の申告をしその後メールの返信で」などとやたらと無駄に複雑な方法です。

しかし「SMSで凍結解除の申請をしてください」といいますが、携帯を無駄に持たない節約家には迷惑な話です。また個人情報を流出されると面倒です。

またSMSも技術的にも完璧ではないのに、多くの企業が本人認証のために使っています。

そしてクラウドやリモートの現代には、スマホの需要は減りPCが増えると思っています。なぜなら5年前の昔と比べても、動画などのネット配信も高度な技術が求められているからです。

もう低機能なスマホはオワコンで、これからは自作PC・自作サーバーの時代になります。メールは便利なので残り、通話アプリは一時的には流行しますが、すぐに流行したゲームのように消えます。

なぜなら多くの人は貧乏になり、課金アプリは続きません。貧乏になる理由は、老害らがいまだに無駄に古い紙仕事などをしたがり、ITに投資をしないからです。

方やゆとりな若者は通話アプリを使い、昔のQ2や電話による出会い風俗店に通うような時間を無駄にします。

昔も今もスタンダードというのは決まっていて、本物の専門家はGUI(画像ユーザー)ではなく高機能で低コストなCUI(文字)で仕事です。

素人ほど無駄に絵を欲しがります。絵にだってウイルスは仕込まれているのにね…

通話アプリは無駄にGUIが多く、そのくせバックアップが取れない。メールはアプリだけではなく、Webページ化も出来て便利です。

私は2000年頃からWebメールを使っているのですが、現代はクラウド時代で、スマホのアプリの多さには無駄だと思います。

そのくせ日本語版は少ない。これは日本の大企業などの管理職が無知だという事です。こいつらはやたら外国をマンセーするけど、外国語なんて簡単だという事を知らない。

こういう無知な状態が今も続いているので、日本はオワコンだと連呼するパヨクがいるのでしょう…外国語かぶれの馬鹿上司が原因を作り、外国かぶれパヨクが炎上させるマッチポンプ状態です。

これはパヨク・マスコミには騙されるなって事です。マスコミの情報をうのみにすると、経済的にも損をします。

TV通販なんかはネットよりも無駄に高値です。まずはネットで検索し、自分でよく考えろ!という事です。多くの人は自(マスコミ)称専門家任せの勉強嫌いなので大損しています。

パヨク・マスコミは「勉強とは中国語では他人に押し付けられるという意味だ」と言い張りますが、これは「情報商材やセミナーを安くしろ!」と言い張る情報乞食に似ています。

だから習得できないんだろ…そして他人が自分のために無料で働いてくれるって、どんだけブラック企業脳をしてんだよ…これは「金を払えば儲かるようにしてくれるんだろ」と自分は何も勉強したがらない老害管理職に似ています。

何事もコツコツと地道に、自分で発見していかないと得られないという昔からある原則のようなものを、いい歳をして知らないの?

そういうコンサルやシステム購入の客がいたら、速攻にお断りする損切りが大事です。こういう無知客は8割完成させたら金を払わずに逃げるのが多いです。

そのくせ防犯のためにソースを出せ!といいますが、これは食い逃げのようなもんです。だったら他のOSのコンパイル物も、全部ソースをOSメーカーに出させてみろよ。自営業者が納品する程度の少ない容量のアプリにウイルスがあるかよ…

こういう客の頭の悪さを知るためにもメールで数多くの質問などをした方が良いのです。メールを面倒くさがる不動産業者の営業マンなどから、購入すると大損します。雑に口頭や電話でしか言わないのは、住宅設計も雑だからです。

メールで証拠の文字を第三者のメールサーバーに残し、数多くの書面の証拠も出す面倒な事をしないと、安全な生活にはつながりません。

水も安全もタダでは得られないのに、パヨク・マスコミでは当然、国民の負担である税で得られるものだと印象操作をしながらも、そのスポンサーが安全ではないサービスを勉強もせずに、高値で売るから危険なのです。

以上



令和3年 皇紀2681年 [西暦2021年] 1月23日(土)
著者:城神YU
posted by 城神YU at 05:00| Comment(0) | メルマガ | このブログの読者になる | 更新情報をチェックする

2021年01月20日

「最近の家電って客のニーズを考えてなくね?」と家電大手の元Webデザイナーは思う

GoTo_Web_n-s.png

私、城神YU(49)は1998年頃から2000年までは、家電PCメーカー大手でWebデザイナーとして派遣仕事を紹介され、1993年頃から1998年頃までも、その業界の人と仕事をしていたのと、大正生まれの叔父が携帯電話を作っていたのを筆頭に、知人などは子供の(1970年代)頃から大手家電関係者が多かったので、良く知っているつもりだ。

まず冷蔵庫を大手TV局でさえ間違った放送を昔していた。それは「専門家が冷蔵庫が家庭に2台は贅沢ですと言っています」と言うが、故障したら食材が腐ったり、カレーなどを夏に冷蔵庫に入れずに腹を壊す馬鹿もいるのだから、2台はあった方が良い。

要らないのは台数が増えると映りが悪くなるテレビの方だ。これはPCでも代用できて生活に必要が無い。また芸能人が大型のテレビを処分する時に、家電リサイクル料を取られるのに番組で不満を持っていたが、芸能界の非常識さはこれだけでも分かる。

大型テレビを設置する空間と資金があるなら、冷蔵庫を2台置いた方がマシだ。空きが出る!とほざく無知もいるが、お菓子だろうが何だろうが、冷蔵庫に入れておけば良いのだ。

そして最近我が家の冷蔵庫が22年経ち、少し故障した。昨日ネットで検索してみると、どれも昔の冷蔵庫と比べると使い勝手が悪そうだ。なぜなら冷蔵庫の中部の冷蔵室が95cmからと高すぎて、高齢者や女性や子供向けではないからだ。たぶん低コスト化のために、外国で生産しているからだろう。

我が家は冷蔵庫の中部に、醬油などを置く回転ターン台を置いているのだが、最近の冷蔵庫はどれもこれを置きづらい。チルド台も2層もあるので、高くなりすぎる。チルドの2層こそ邪魔で、こんなもん箱やフタをしたり、購入者ごとに追加すりゃ済むだろ。

また冷凍庫などのドアの数が無駄に多い。また観音開きで幅を取るのは、日本の狭い住宅事情に合わない。それならもっと高くして、エレベーターでもつけろ。というか、台に上り入れる事も簡単に出来るので「冷蔵庫は広くではなく、もっと高く」した方が良い。

高層ビルというのは空間の省エネで素晴らしいという感じのセリフが、自衛隊のアニメであったではないか。テレビとそのスポンサーの家電メーカーはその発言を実践できているのか?新聞の不動産事業の方では…

そして昔ながらの蛍光灯も紐が簡単に切れやすいので、せめて切れづらい糸にしてというか、今は通販でリモコンが売っているが、蛍光管も簡単に交換できないカバーも邪魔な割には数万円と高値だ。

ちなみに食事をするテーブルやベッドなどの上に蛍光灯を設置すると、埃なども落ちる落下リスクもあるので、少し離した所に置いた方が良い。また小さい蛍光灯を廊下に設置で買うぐらいなら、約700円の電池の動感センサーライトをヨドバシなどのネット通販などで買った方が高齢者向けだ。

自称成功者が「外国製のPCは無駄なソフトが無く良い」と言っていたが、それほど重要な問題ではない。中古の外国製PCは動作が遅かったり、コンセントが大きく熱くなる。やはり日本の低電力事情に合った国内PCの中古の方が良い。

日本の家電メーカーは無知なハードウエア技術者が権力を持ち、ソフトウエアが軽視されるので、いつまで経っても便利にならない。これも武漢コロナ対策のアプリが作れない原因でもある。

そして1994年からHTMLを仕事で使い始めた、プログラマーのはしくれの私から言わせてもらうと、ソフトは数多く使えた方が得だ。例えば何の事が無いと思う目覚ましソフトは、1分おきに他のアプリを自動起動できるので、為替価格の読み上げなども出来る。

現代はFXなどの金融(投資)ソフトこそ需要があるが、どのPCメーカーでもこのような客別のカスタマイズPCを販売しないので儲からない。また最近はミニPCという小型なPCが販売され始めてきたのだが、国内PC大手は防犯カメラの無線もやらない。

要は考えが古いのだ。無知な老害管理職が勝手に専門とは「こういう(古い)物」と決めつけているのだ。いま武漢コロナ禍で「仕事である会食が出来ない」と、エビデンスも無くブー垂れている老害管理職こそリストラしなければ、感染も減らないし経済も復活しない。

現役世代は苦しくても政治参加しなければ、言論弾圧BANをされてもSNSなどでも訴えないと、世の中は良くならない。

以上


令和3年 皇紀2681年 [西暦2021年] 1月20日(水)
著者:城神YU
posted by 城神YU at 08:00| Comment(0) | 買物 | このブログの読者になる | 更新情報をチェックする
Analysis
アナライズ 分析

投資も商売も「メンタル9割:その他1割」(恐怖に耐えろ)


FXなどの投資の分析は「ファンダ3割:テクニカル7割」


ファンダ(経済ニュースなど)だけ重視する奴は、みんなと同じ事をし大損する。
チャート(テクニカル)分析こそ、普段は勝てるが、大損する馬鹿は軽視する。

「投資資金が今あまりない」場合でも、ドル円とNYダウ
(米国の日経平均株価のような指数)などの連動を見る



市場相場はInvesting.com 日本 によって機能されている


相場の値動きは複数で見比べると正確です。
また株や資源や為替などは、お互いで影響

しあう場合があります。



▼投資やビジネスで儲ける資金やチャンスを作る方法(初心者向け)
【文章付き】テレビや新聞や雑誌は無駄が多いので損をし、ネットは無駄が少ないので得をする (FC2動画版


このオンライン塾はプログラミングや投資や軍事防犯などを学び、今の反日的な状態を打破しようという令和の松下村塾!ブックマーク(お気に入り)のURLはhttp://sirokami.s205.xrea.comでお願いします。SNSなどでの連絡無しでの拡散は歓迎です。