windows10環境によるスクレイピングheadless ~python~

今回はどうしても、headlessモード（非表示）でwebdriverを動かし情報をサイトから抜き出したいと考えコードを書いたので、復習で記事書きます。

今回は相当苦労しました。

様々な記事を参考にさせてもらいましたが、全然できない。

自分自身が出ているエラーに関する記事がほとんどない。

どうすればいいんだろうと悩み二日かかりました。

これまでの記事通りseleniumとbeautifulsoupを使用しサイトから欲しい情報を抜き出していました。

今回のheadlessはそのコードにoptionを追加することで可能にできます。

from selenium.webdriver.chrome.options import Options　　＃追加

options = webdriver.ChromeOptions()

options.add_argument('--headless')

options.add_argument('--proxy-server=http://...............')

browser = webdriver.Chrome(chrome_options=options)

browser.get("URL...")

これでchromeを非表示で実行できます。