【Python】Seleniumによる自動化でスクレイピング

# 必要なライブラリ等をimportする
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.alert import Alert
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import requests
import time
# import os # プログラム内でmkdirなどのコマンドを実行したい場合は、コメントアウトを外す

# Seleniumをあらゆる環境で起動させるChromeオプション
options = Options()
options.add_argument('--disable-gpu')
options.add_argument('--disable-extensions')
options.add_argument('--proxy-server="direct://"')
options.add_argument('--proxy-bypass-list=*')
options.add_argument('--start-maximized')
# options.add_argument('--headless'); # ※ヘッドレスモードを使用する場合、コメントアウトを外す

# 取得してもらいたい画像の枚数を入力してもらう
how_many = input("How many pictures? ")
num = int(how_many)

DRIVER_PATH = '{インストールしたchromedriverのパスを入れる}'
# 例） DRIVER_PATH = '/Users/wlcmty08kh/Desktop/Selenium/chromedriver'

# 仮装ブラウザでchromeを起動
driver = webdriver.Chrome(executable_path=DRIVER_PATH)

# Webページにアクセスする
url = 'https://www.archdaily.com/search/projects/categories/houses'
driver.get(url)

# そのページのHTMLソースを取得し、BeautifulSoupで要素を取得しやすいよう加工
current_url = driver.current_url
html = requests.get(current_url)
bs = BeautifulSoup(html.text, "lxml")

# 取得したい画像の数だけimgタグを取得
images = bs.find_all("img", limit=num + 1)
images.pop(0) # 最初のロゴ画像だけ保存対象から除外

# 次のスクロールの待ち時間
SCROLL_PAUSE_TIME = 1

# scrollHeightを取得
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # for文でそれぞれのimgタグから画像URLを取得して、img_urlに入れる
    for i, img in enumerate(images, start=1):
        img_url = img.get("data-imgsrc")
        print(i)
        print(img_url)
        # 下までスクロール
        driver.execute_script(
            "window.scrollTo(0, document.body.scrollHeight);")

        # 次のスクロールの前にページがロードされるのを待つ
        time.sleep(SCROLL_PAUSE_TIME)

        # この時点でのscrollHeightを取得
        new_height = driver.execute_script("return document.body.scrollHeight")

        # Picturesというフォルダに任意の名前でファイルを作成し、img_urlから取得できるデータをそのファイルに書き込んで保存
        try:
            data = requests.get(img_url)
            with open('./pictures/' + 'architecture' + str(i) + '.png', 'wb') as file:
                file.write(data.content)
        # 途中でエラーが発生したら、エラーメッセージをprintする
        except:
            print('画像を取得できませんでした')
    # これ以上スクロールできなくなる or 取得したい数の画像を取得したら処理を終了
    if new_height == last_height or i == num:
        break
    last_height = new_height

# 仮装ブラウザのchromeを終了
driver.quit()