【Python】Pythonでスクレイピング

Pythonでスクレイピングしてみよう

スクレイピングとは？

スクレイピングとは、web上に公開されているページからHTMLなどを解析して、欲しいデータを取得する手法です。

webページは、HTMLで書かれているので、多くの記事ではHTMLの取得方法が紹介されていますが、CSVファイルなど、web上に上げられているファイルならば、なんでも可能です。

本記事の目標

requests?クローリング？ってなる方が多いかもしれませんが、詳しく書いていくので、ぜひ読者の皆さんも手を動かしながら、読み進めていってください！

では、、いきなりコードを書いて動かせないので、まずは環境構築をしていきます。

上記のrequests、BeautifulSouがインストール済みの方は、環境構築を読み飛ばしてもらって大丈夫です！

完成形のディレクトリ構造

Python
├── lib_beautifulSoup.py
├── lib_requests.py
├── outPut.html
└── outPut.txt

あらかじめ必要なファイルを全て作っておきましょう！

今回はライブラリごとに、完結するようなコードを用意しているので、ファイルを３つ用意しました。

outPut.txtとoutPut.htmlは、取得したデータを書き出すために用意しました。

環境構築

まずは、homebrewをインストールします。

インストールしたhomebrewを用いて、python3をインストールします。

ここからは、必要なライブラリをインストールしていきます。

requestsでURLからwebページのHTMLを取得する

目標の確認

まずは、requestsというライブラリを使って取得したいページのHTMLを全て取得したいと思います。

実際に取得したHTMLをoutPut.htmlに　書き出していきます。

上にも記述しましたが対象ページは、https://news.yahoo.co.jpです。

完成コード

import requests

url = "https://news.yahoo.co.jp"

# HTMLの取得と表示
response = requests.get(url)
response.encoding = response.apparent_encoding
html = response.text

# ファイルへの書き出し
with open("scraping/outPut.html", mode="w", encoding="utf-8") as file:
    file.write(html)

file = open("outPut.txt", "w")
file.write("こんにちは")
file.close()

with open("outPut.txt", mode="w") as file:
    file.write("こんにちは")

outPut.htmlを確認してみてください。

非常に長いので、ここでは紹介しませんが取得できていればファイル内が大量のコードで埋め尽くされているはずです。

でもスクレイピングの醍醐味は、web上の大量のデータから欲しいデータだけを抽出することです。

今のままでは、欲しいデータがどこにあるかわかりません。

そこで、BeautifulSoupというライブラリを使って、HTML内を検索し、欲しいデータだけを抽出していきます！

BeautifulSoupで欲しいデータのみを取得する

目標の確認

では、実際にニュースのタイトルだけを取得するプログラムを書いていきます。

HTML内の特定のデータだけを取得するには、HTMLのタグを指定する必要があります。

そこで使うのが、BeautifulSoupというライブラリです。

今回、実際に取得する部分は以下の部分です。

検証ツールを使って、どの要素、どのクラスを指定すれば良いのか、確認してみてください。

もしかしたら、クラス名が変わっているかもしれないので確認をお願いします。

完成コード

import requests
from bs4 import BeautifulSoup

url = "https://news.yahoo.co.jp"
# HTTPリクエストを送り、レスポンスを得る
response = requests.get(url)
response.encoding = response.apparent_encoding
# 解析を可能にする
yahoo = BeautifulSoup(response.text, "html.parser")
# selectを指定するとレスポンスはリスト型
a_tags = yahoo.select(".topicsListItem > a")

# ファイルへの書き出し
with open("scraping/outPut.txt", mode="a", encoding="utf-8") as file:
  for title in a_tags:
    file.write(title.text + "\n")

BeautifulSoupのチートシート

タグでの検索

# 最初のaタグを取得
soup.find("a")
soup.a
※２つはどちらも同じ動きをします

# aタグ内のテキストを取得
soup.find("a").text
soup.a.text

# 全てのaタグを取得
soup.find_all("a")
soup("a")
# ※リスト型で返ってきます！

# 全てのaタグのテキストのみを取得
[ a_tag.text for a_tag in soup.find_all("a") ]
# ※テキストのみをリスト型で返します！

属性で検索

# class属性で取得
soup.find(class_ = "クラス名")

# class属性に一致する全てのタグを取得
soup(class_ = "クラス名")
soup.find_all("class_ = クラス名")

# id属性で取得
soup.find(id = "id名")

# id属性に一致する全てのタグを取得
soup(id = "id名")
soup.find_all(id = "id名"

複数条件で検索

複数の条件を指定したい場合は、カンマで区切って記述すればOKです。

CSSセレクタ型で検索

ここからは、もう少し簡単な書き方を紹介します。

ここまでで基本的な取得の仕方は紹介しました。

しかし、取得する際に、ネストが深かったりした場合がめんどくさいなーと思った方もいるかもしれません。

soup.select("a > #id名 > .クラス名") 

簡単に説明すると、aタグ内のid名の中の、クラス名を取得しています。

Python 3入門+応用+アメリカのシリコンバレー流コードスタイルを学ぶオンライン講座