python beautiful soup基礎 urllib と requests

bs4をダウンロード

responseオブジェクトを生成するために、

from urllib import request
　
url = '……'
response = request.urlopen(url)

もしくは

import requests
　
url = ""
response = requests.get(url)

どっちでもresponseオブジェクトは生成できるので、極論どっちでもよさげ。ただし、requests.getで取得した場合は、beautifulsoupで読み込む際に、属性を指定する必要あり。

urllib

soup = BeautifulSoup(response)

requests

soup = BeautifulSoup(response.content) ＃属性を指定する必要あり