目的

CasperJSを使ってスクレイピングしてみます。

CasperJSは、PhantomJSを使いやすくラッピングしたJavaScriptです。
最初は、node.jsのライブラリと思ってましたが、使ってみたらそうではなく、
casperjsというコマンドで実行します。
そのためnode.jsの他のライブラリを使うことはできませんでした。

CasperJS、PhantomJSのインストール

最初はPhantomJSからインストールします。

PhantomJSのダウンロードページ

各OS毎にバイナリが用意されています。
今回はMac OS X版をダウンロードし、zipを展開します。
展開するとバイナリが出てきますので、適当にパスが通ったところに置きます。
例）
mv ~/Download/phantomjs-2.1.1-macosx /usr/local/

次にCasperJSをインストールします。npmで簡単にインストールできます。

npm install casperjs

CasperJSでスクレイピングする処理を書く

var casper = require('casper').create();

// スクレイピング対象のURL
casper.start("https://www.google.co.jp/search?q=スクレイピング");

// URLが表示されたときの処理
casper.then(function () {
    // loadイベントを発火させる
    this.emit('load', this.evaluate(function () {
        // start()で指定したURLがPhantomJS上で実行されるので、
        // そのページに対して行いたい処理を記述する。
        // 今回は検索結果のdiv(id=ires)下のタイトル(class=r)のaタグを取得する。
        var a_list = document.querySelectorAll('#ires .r a')
        return Array.prototype.map.call(a_list, function (e) {
            return e.getAttribute('href')
        })
    }));
});

// イベントを受け取る
casper.on('load', function (list) {
    list.forEach(function (element, index, array) {
        console.log(element);
    });
});

// 実行
casper.run();

var casper = require('casper').create();

// スクレイピング対象のURL

casper.start("https://www.google.co.jp/search?q=スクレイピング");

// URLが表示されたときの処理

casper.then(function () {

// loadイベントを発火させる

this.emit('load', this.evaluate(function () {

// start()で指定したURLがPhantomJS上で実行されるので、

// そのページに対して行いたい処理を記述する。

// 今回は検索結果のdiv(id=ires)下のタイトル(class=r)のaタグを取得する。

var a_list = document.querySelectorAll('#ires .r a')

return Array.prototype.map.call(a_list, function (e) {

return e.getAttribute('href')

})

}));

});

// イベントを受け取る

casper.on('load', function (list) {

list.forEach(function (element, index, array) {

console.log(element);

});

// 実行

casper.run();

CasperJSの実行

casperjsコマンドで実行します。

$ casperjs casperjs_sample.js

下記のようにログ出力されました。

/url?q=https://ja.wikipedia.org/wiki/%25E3%2582%25A6%25E3%2582%25A7%25E3%2583%2596%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AC%25E3%2582%25A4%25E3%2583%2594%25E3%2583%25B3%25E3%2582%25B0&sa=U&ved=0ahUKEwjH7s223I3SAhUMbbwKHWkWAroQFggYMAE&usg=AFQjCNHZAORThLyskf3nDxY9SlIMZY3Mvg
/url?q=https://ja.wikipedia.org/wiki/%25E3%2582%25A6%25E3%2582%25A7%25E3%2583%2596%25E3%2582%25B9%25E3%2582%25AF%25E3%2583%25AC%25E3%2582%25A4%25E3%2583%2594%25E3%2583%25B3%25E3%2582%25B0&sa=U&ved=0ahUKEwjH7s223I3SAhUMbbwKHWkWAroQFggcMAI&usg=AFQjCNHZAORThLyskf3nDxY9SlIMZY3Mvg

期待するものは、httpsから始まるURLですが、最初に”/url?q=”という文字がついています。
どうもユーザエージェントの指定で結果が変わるようです。
CasperJSのデフォルトのユーザエージェントは下記のものでした。

Mozilla/5.0 (Macintosh; Intel Mac OS X) AppleWebKit/538.1 (KHTML, like Gecko) CasperJS/1.1.3+PhantomJS/2.1.1 Safari/538.1

ユーザエージェントをChromeのものに変えると期待するURLを得ることができました。

casper.userAgent(“Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36”);

スクレピングするならbotらしいユーザエージェントが良いのだと思います。

以上です。

まっちゃん開発

開発中のあれこれ。主にAndroid。

月別アーカイブ: 2017年2月

スクレイピング-CasperJS編-

目的

CasperJS、PhantomJSのインストール

CasperJSでスクレイピングする処理を書く

CasperJSの実行