yahooのニュース記事一覧のタイトルとリンクを取得
書籍「Pythonでスクレイピングを始めよう: for Macユーザー入門学習編」のサンプルプログラムです。
import requestsfrom bs4 import BeautifulSouptitles=[]links=[]url="https://www.yahoo.co.jp"user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/605.1.15 (KHTML, lik