【python学習日記④】Requests

全体のスクレイピングの流れがわかったので、あとはコードを書いていくだけです。今回は前回の学習日記③の１の部分を学習していきます。RequestsでHTMLを取得します。

Requestsを使用したことがない場合は、インストールから始める必要があります。コマンドプロンプト上で「pip install requests」でインストールできるみたいです。今回はAnacondaを使用しているので、ここはやっていません。

Reuquestsをインポートします。コードは単純で

import requests

です。Requestsを使用できるようになりました。次に、requestsを用いてスクレイピングしたいwebサイトのHTMLを取得します。

url = "https://www.python.org/" 
r = requests.get(url)

urlにスクレイピングしたページのURLを代入しています。そして、requests.get()という関数で、変数urlのページにアクセスします。今回はpythonの公式ページにアクセスしています。そして、、アクセス結果を変数rに代入しています。

これで、HTMLの取得が完了です。確認のために、print(r.text)で表示するとHTMLが表示されます。

コード自体は単純ですね。次回は、BeautifulSoupを用いてHTMLの解析をします。