スクレイピングとテキストマイニングでエンジニアにとっての2018年10大ニュースを見つけ出した
あと2週間ちょっとで2018年も終わってしまいますね。
今回は、エンジニアなら振り返っておきたい2018年の10大ニュースをまとめておきます。
一瞬ぼく自身が驚いたニュースなどをまとめようかとも思ったのですが、「一個人の記憶に残っているニュースを引き出してまとめても、チープなものにしかならないな...」
と思い、プログラミングの力に全面的に頼ることに。
ここ1年間のIT関連のニュースをメディアからスクレイピングしてきて、抽出結果を月ごとにテキストマイニングして出現率の高いワードを持っている記事を選定。
以下のような流れで記事を書きました。
1. スクレイピングできそうなITメディアサイト選出
2. サイト別にスクレイピングする（タグ名とか違うからしょうがない）
3. Spread Sheetに出力する
4. テキストマイニング（出現率高い単語で記事名検索）
5. 抽出された記事名/リンクをもとに記事書く
ちなみに、今回スクレイピング対象としたメディアは以下のものです。
・Tech Crunch
・Yahoo! News IT
・日経XTECH
・techable
・GIZMODE
・GIGAZINE
・POSTD
スクレイピング/テキストマイニングしてわかったエンジニア向け各月の注目ニュース
それではさっそく、1月~10月のITに関連するニュースのスクレイピング・テキストマイニング結果・振り返っておきたい記事をまとめておきます。
2018年1月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
「仮想通貨」「脆弱性」などがよく登場した1月。コインチェック事件、仮想通貨事業への企業の参入など、仮想通貨熱が急騰・急降下した月になりましたね。
2018年2月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
AIに関して言及している記事が多くなっていることがわかります。人工知能技術が様々な分野で実用化に向けて導入され始め、そこで課題も見つかってきていることがわかります。
2018年3月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
3月は、ロボット・自動運転などの単語が出てくる記事が多かったようですね。WaymoやUber・トヨタなどの自動運転の試験運転開始とそれに伴う事故が議論を生みましたね。
2018年4月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
4月は、「Facebook」「データ」「問題」などが頻出しているようです。Cambridge AnalyticaがFacebookのユーザーデータを不正利用した件で、上院公聴会での証言、データ不正利用に対しての対応がおこなわれました。
2018年5月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
「AI」と「Google」に関しての言及が多くなっているようです。Google I/O 2018で飲食店への予約連絡を自動で実行してくれる様子には驚愕しましたね。
2018年6月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
「Apple」「WWDC」に関しての記事が多かったようですね。WWDC 2018（Appleの開発者向けカンファレンス）では、ARに関しての発表が印象的でした。
ひとつのAR環境に複数のデバイスが接続できるようになったことは、ARゲームなどのアプリが開発される上で重要。
2018年7月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
「中国」「AI」「データ」などが頻出していることがわかります。
アリババや京東など中国IT企業のAI活用、Wechatのミニプログラム、QRコード決済など、中国企業が米国企業と同様に模範とすべき対象として認識されてきたことがわかりますね。
2018年8月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
8月の頻出ワードはまたも「AI」。AI関連技術の様々な事業での活用が加速していることがわかります。
2018年9月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
9月は「VR」が頻出ワードに出現していますね。9月はVR業界の歴史に残るであろう大規模VR LIVEイベント「輝夜月 LIVE」が開催されました。
もし人生やり直せるとしたら輝夜月 LIVE観ます。新しい体験を生み出し、大盛況にて終わったイベント。
2018年10月
記事タイトルの共起キーワード
共起キーワードに関連する話題になった記事
10月は「Blockchain」が頻出ワードに入っていますね。国内ではLINE・メルカリ・Gunosyなどがブロックチェーン領域での事業展開を進め、国外では業界全体の給与水準は上がってきているとのこと。
まとめ
以上、スクレイピング/テキストマイニングしてわかったエンジニア向け各月の注目ニュースでした。
スクレイピングしてパパッと2018年の振り返りができたし、「ああ。そういえばこんな記事もあったなぁ...！」という発見もあって、割と有益でした。
「APIでデータ取得→Spread Sheet書き込み」ができるようになれば、ある程度の作業は効率化・自動化できるので、プログラミングに興味ある方はこちらを参考にしてください。
では。