jsoupを使用したYahoo番組表のスクレイピング

Yahoo番組表からの番組情報のスクレイピング

Yahoo番組表から以下の画像の赤い枠で囲んでいる部分を番組情報としてスクレイピングしたい。

jsoupを使用する

スクレイピングにはjsoupを使用する。 以下のようにCSSセレクタでDOM要素を指定して取得することができるので、jQueryと同じような感覚で使用することができる。

Document doc = Jsoup.connect("スクレイピングしたいページのURL").get();
Elements elements = doc.select("ul.programlist > li");

スクレイピング結果

スクレイピングしてきた情報は以下のようにデータベースに保存する。