pythonでWebスクレイピングやってみる①

こんにちは
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ超初心者の試行錯誤をやっていきたいと思います。
5ヶ月ぶりにpythonをまた、勉強しています。

今回できたことは

yahooのトップページからタイトルとURLを抽出するところまでです。
・・・目指すところまで遠いような

スクレイピングって何？

Webページから情報を抽出することです。
記事のタイトルやURLなどを抽出できます
禁止されていたり、法律に抵触する場合もあるのでその辺が難しいですし、注意が必要です。

HTMLタグ等で、サイトのどこに記載されているかを特定し、該当情報を抜き出すのがスクレイピングの基本のようです。

さっそくやってみましょう

必要なライブラリを用意します

pipコマンドで以下をインストール

・requestsをpip installする

pip install requests

・beautifulsoup4をpip installする

pip install beautifulsoup4

■requestsとは
インターネットにリクエスト送信を行って、レスポンスを受領する

■BeautifulSoupとは
取得したHTMLデータから、HTMLタグやCSSのセレクターで欲しい情報を削り取る

出来たソースコード

"""
yahooトップページをWEBスクレイピングしてみよう
"""

#必要なライブラリをインポート
import requests
from bs4 import BeautifulSoup

#スクレイピング対象とするサイトのURL
url = "https://www.yahoo.co.jp/"

#Getメソッドでレスポンスを取得
res = requests.get(url)

#レスポンスのテキスト情報を変数に格納
soup = BeautifulSoup(res.text,'html.parser')

#BeautifulSoupのfindメソッドでh1タグを抽出
title = soup.find('h1')

#h1タグで囲まれているテキスト部分をprint関数で出力
print("WEBページのタイトルは " + title.string)

#findメソッドでh1タグを抽出し、さらにその配下のaタグのhref属性を抽出
link = soup.find('h1').find('a')['href']
print("WEBぺーじのURLは "　+ link)

出力されました

WEBページのタイトルは Yahoo! JAPAN
WEBぺーじのURLは https://www.yahoo.co.jp

本日はここまでにさせてください。

少しずつコツコツ勉強をやっていきたいと思います。

発想点を実現できるようにコツコツ作っていきたいと思います。

良かったらまたお願いします