jsoupを使用したYahoo番組表のスクレイピング
Yahoo番組表からの番組情報のスクレイピング
Yahoo番組表から以下の画像の赤い枠で囲んでいる部分を番組情報としてスクレイピングしたい。
jsoupを使用する
スクレイピングにはjsoupを使用する。 以下のようにCSSセレクタでDOM要素を指定して取得することができるので、jQueryと同じような感覚で使用することができる。
Document doc = Jsoup.connect("スクレイピングしたいページのURL").get(); Elements elements = doc.select("ul.programlist > li");
スクレイピング結果
スクレイピングしてきた情報は以下のようにデータベースに保存する。