Seleniumで非同期処理による動的データの待機処理ができない

ホーム » スクレイピング

Seleniumでスクレイピングをする際にページの読み込みが完了するまで待機することがよくあります。このような処理を待機処理といいます。

取得する要素が静的に決まっていて、HTMLをパースする時点で要素の値が存在している場合は既存のメソッドで待機処理を実現することが可能ですが、非同期通信(Ajax)によって要素の値が動的に決定される場合、すなわち描画が終わった後に動的な変更によって要素の値が決まる場合は、既存のメソッドで待機処理を実現することができません。

今回の記事ではこうした課題を解決するための手法を紹介します。

Continue Reading →