Webスクレイピング勉強③~BeautifulSoup~
引き続き
１．BeautifulSoupでWEBページを読み込む
requestsとbeautifulsoup4をインストール
URLを指定し、そのページ情報を取得する
import requests
from bs4 import BeautifulSoup
url = 'https://scraping-for-beginner.herokuapp.com/udemy'
res = requests.get(url)
res.text現状は単なる文字列
BeautifulSoupでHTMLとして読み込ませる
soup = BeautifulSoup(res.text, 'html.parser')
soup綺麗な形になった
下記関数でインデントも込みで解析してくれる
print(soup.prettify())
２．ページ内の特定の要素を取得する
ページ内の「受講生の数」を取得したい。→<p>タグかつclass="subscribers"
まずは該当のタグを取得
読み込んだHTML内の全pタグを取得
soup.find_all('p')リスト形式で取得される
下記の指定をすることで、取得した全pタグのうち、classが指定した名前（ここではsubscribers）の要素だけを抽出できる。
subscribers = soup.find_all('p', attrs={'class':'subscribers'})取得できた
取得した要素のtextを取得することで、値を取得できる
取得した文字列のうち、数値を抽出する
取得した文字列を分割して、int形に変換
subscribers[0].text.split('：') #：でテキストを分割
subscribers[0].text.split('：')[1] #分割した2つのうち2つ目を表示
int(subscribers[0].text.split('：')[1]) #int型に変換同様にレビューの数も取得する
同じ要領で取得完了
CSSセレクタによる取得
find_allではなくsoupのselect関数でクラス名を指定することでも取得は可能
soup.select_one('.subscribers').text
以上。勉強になりました。