2021年01月24日

PythonやRubyなどでのWebスクレイピングは有効に使えるのか?

Webスクレイピングとは他人のWebサイトからデータを抽出する技術で、最近はユーチューブなどのプログラミングを教える動画などでも、多くの人が取り上げている人気の技術だ。

今はPythonが人気なので、Pythonしかスクレイピングが出来ないように見えるが、Rubyや他のスクリプトでも出来るらしい。

こうなると大学生が就活などでも覚えないといけない技術だと思い、やったり動画配信をしたりするかもしれないが、プログラミングソースの公開もだが、多くの無駄がありそうだ。要は就活でのスキル披露にしか過ぎない。


スクレイピングにも複数の問題点がある。それは…


【問題点1】スクレイピングをされる側が禁止している

「スクレイピングは違法!」という意見もあるが、
例えば株価や為替価格には著作権が無いので微妙だ。

だが営業妨害などと言われたら終わりなので、
禁止しているサイトではやらない方が良い。

しかしこれをイケメンな動画配信者が言ってはいるが、
動画では禁止のサイトからデータを拝借している。

だが信者(熱心なファン)らは
「こんな優良な無料情報は広告で儲けて欲しい」
などのコメントを多くしている。

禁止しているかの確認方法だが「robot.txtやページに
禁止とある」という人がいるが、これも分かりづらい。


【問題点2】抽出するタグが分かりづらい

世の中の多くのWebサイトはスクレイピング用に
作られている訳ではないので、タグもそのようには
作られていない。

例えば実際に抽出する方法は、ドル円の価格が
<div class=hed>108.0091…などという、そのサイト
独特の訳の分からないタグで、複数で使うhedを
usd-jpy_1などと親切に定義をしてくれはしない。

実際に仕事でスクレイピングをするなら、
スクレイピングされる自社サイトを作った方が
無難だが、無知な管理職は流行に飛び乗り、
違法な事をさせる。


【問題点3】そもそも多くのサイトが似たような事をしている

これをいったらおしまいだが、今までの既存の多くの
サービスで事足りる気がする。

成功者の金持ちでさえ、ポータルサイトは借りた方が良く、
自作は無駄だという。確かに検索大手がやっているような
動画サイトなどは、競争相手も多いので無駄のように思える。


だが例えば為替価格と原油価格を、同じチャートで表示するような
Webサイトが多くあるようには思えない。

狭い分野だがニーズがある
ニッチを探した方が良い



スクレイピングは人気があり、説明も多くあるので、
プログラミングの基礎知識もだが、多くの人と同じような
説明をWebサイトですると在庫損になるかもしれない。

プログラミングもFXなどの投資のエントリーも、
古い考え方の人のように、一挙に多くエントリーすると、
大損するので、みんながやっていない新しい事を、

ナンピン買いのように少しづつする

の方が良いのかもしれない。

多くの配信者はナンピンを駄目だとするが、
これが今、仮想通貨のBTCで儲かっている人の
パターンであろう?

プログラミングもトレードもシナリオというのがあり、
織田信長のような勝負勘が無く、自分を守っている
だけでは勝てないし、新しい武器を導入しないと、
いくら領土を拡大しても武田勝頼のように滅亡する。

スクレイピングする前に歴史を学んだ方が良いね。
しかも平和ボケ左翼が嫌う戦記ね。これこそ絶好の
タイミングをつかむ必勝法だ。

そしてプログラマーには著作権違反などの違法という
リスクと、そのわりに儲からない低リターンがある。

特に企業などは著作権違反をパワハラ的にやらせるので、
損切の転職が大事だ。また証拠を書面や音声で残さないと、
ブラック上司はトコトン逃げる。

「スクレイピングよりも証拠を取る方に労力をかけろ」となる。
こうなるとリスクが高そうなFXなどの投資の方が、下請けの
プログラミング仕事よりもリスクが低いかもしれない。

データサイエンティストといっても、
ノウハウコレクターな無駄があり、
勝負師の方がマシかもね…



という事になる。

以上



令和3年 皇紀2681年 [西暦2021年] 1月24日(日)
著者:城神YU
posted by 城神YU at 08:09| Comment(0) | プログラミング | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
コチラをクリックしてください
Analysis
アナライズ 分析

投資も商売も「メンタル9割:その他1割」(恐怖に耐えろ)


FXなどの投資の分析は「ファンダ3割:テクニカル7割」


ファンダ(経済ニュースなど)だけ重視する奴は、みんなと同じ事をし大損する。
チャート(テクニカル)分析こそ、普段は勝てるが、大損する馬鹿は軽視する。

「投資資金が今あまりない」場合でも、ドル円とNYダウ
(米国の日経平均株価のような指数)などの連動を見る



市場相場はInvesting.com 日本 によって機能されている


相場の値動きは複数で見比べると正確です。
また株や資源や為替などは、お互いで影響

しあう場合があります。



▼投資やビジネスで儲ける資金やチャンスを作る方法(初心者向け)
【文章付き】テレビや新聞や雑誌は無駄が多いので損をし、ネットは無駄が少ないので得をする (FC2動画版


このオンライン塾はプログラミングや投資や軍事防犯などを学び、今の反日的な状態を打破しようという令和の松下村塾!ブックマーク(お気に入り)のURLはhttp://sirokami.s205.xrea.comでお願いします。SNSなどでの連絡無しでの拡散は歓迎です。