【ドライバ不要】javascriptが動作するサイトをSeleniumでスクレイピングする
多くのウェブサイトがJavaScriptを活用してデータを読み込むようになり、シンプルなスクレイピングツールでは対応できないことがあります。
今回は、Seleniumを使ってJavaScriptが動作するWebサイトのスクレイピングをし、さらにDockerを組み合わせた環境を整えることで、ドライバーの動作不良を回避する環境を作り上げます。
まず、seleniumのdocker imageを利用するため以下のコードを記載したdocker-compose.ymlを作成します。