[python]webスクレイピング入門①環境構築から動作確認

2022年2月11日金曜日

Edge python Selenium スクレイピング

t f B! P L

 先日こんなニュースがありました。

Microsoft、OfficeのVBAマクロをデフォルトブロックへ 悪用対策で - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2202/08/news070.html

メールとかインターネット上から入手したファイルに対してのものですが、自分で作ったVBAマクロを共有サーバー上とかに保存しておいて使用するということができなくなってきそうな気配がします。

今までウェブサイトのスクレイピングにVBAマクロを使用していたので、対応を迫られることになりました。ついでにIE終了対応の必要もあるので、ここらでpythonでウェブスクレイピングをする準備をしていきたいと思います。

今回はwebスクレイピング入門①環境構築の第1回として環境構築&動作確認をしていきます。

開発環境

windows10 + anaconda(python 3.x)
visual studio code (Jupyter Notebookインストール済)

Seleniumのインストール

Selenium :: Anaconda.org こちらのサイトに書いてある通りにインストールします。

Selenium :: Anaconda

conda install -c conda-forge selenium

Seleniumインストール


インストールが完了しました。

web driverのインストール

ブラウザを操作するためにweb driverが必要になるので入手します。
各ドライバの入手先は以下の通りです。

今回はEdge版で試してみます。
上記のページにアクセスします。
Edgeドライバ



Stable Channelの64bit版(x64)をクリックするとダウンロードは始まります。

この中に含まれるmsedgedriver.exeをpythonファイルを置く予定のフォルダに移動します。
msedgedriver.exe



次にvscodeでコマンドパレットから新しいJupyter Notebookを開いて以下のコードを書きます。
Yahooのページを開いて、検索ボックスに「天気予報」と入力して検索ボタンを押すプログラムです。
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

browser = webdriver.Edge()

browser.get('http://www.yahoo.co.jp')
assert 'Yahoo' in browser.title

elem = browser.find_element(By.NAME, 'p')  # Find the search box
elem.send_keys('天気予報' + Keys.RETURN)

#browser.quit()

実行したものを画面録画しました。



無事に動作確認できました。

次回以降は、細かい使い方を確認してみようと考えています。


管理人

自分の写真
薬剤師・エンジニア 公認スポーツファーマシスト 医療情報技師

アクセスカウンター

70022

検索

最新記事

QooQ