playagricolaからカード情報をスクレイピングする

タイトル通りのプログラムを作りました。

github.com

beautifulsoupで抽出するつもりが、playagricolaのhtmlが変な形になっているため途中から無理やり正規表現で抽出しています。

動かすと、range内の数字の範囲で、その数字がidであるようなカード個別ページをスクレイピングして、カード情報があればカード情報リストに追加し、pandasのdataflameにしてcsvとして出力します。

取得する情報は

[playagricolaid,カード名,カードテキスト,進歩コスト(進歩のみ),カード点(進歩のみ),前提条件(進歩のみ),何人戦から職業か(職業のみ),ボーナスマーク有無,回るかどうか]

です。

1ページスクレイピングするのに2~3秒ほどかかるので、全ページしたい場合は分けてゆっくり行うことを推奨します。