twitterにもかいたけど。

http://fuba.jottit.com/exthtml

http://fuba.moaningnerds.org/src/exthtml.pl

値がとれるだけでは退屈、ページ辿りたいし、その先も辿りたいので機能追加。ずいぶんたくましくなりました。あとはキャッシュができればいいですねー。

追加したオプション

n

次のページ（別に次じゃなくてもいいけど）のURLを返してくれるXPath、いっぱいマッチさせても最初の1つしかたどりません

d

ページを辿る回数、デフォルト1

s

HTML::Elementがマッチしてる場合にHTMLソースを吐く

f

処理しているURLも出力し、結果の値の前にはタブがついているフォーマット(いまひとつなのでなんとかしたい)

URLのかわりに-

標準入力から改行区切りでURLをうけとる

ためす

twitterのfollowingリストを0回ページ継ぎ足しして、そこから抽出したユーザリストのfavoritesをさらに確認、彼らのfavってるユーザ名を集計する。

% alias exthtml="perl /Users/ec/bin/exthtml.pl -a Mozilla -c ~/Library/Cookies/Cookies.plist"
% exthtml -X '//strong/a[@rel="contact"]/@href' -n "//a[contains(@rel, 'next')]/@href" \
-d 0 http://twitter.com/friends | perl -ne 'chomp;print "${_}/favourites\n"' | \
exthtml -X '//*[@class="content"]/strong/a/text()' -s - | sort | uniq -c
   5 33
   1 4316
   1 8am
   1 941
   1 AirReader
   2 Hamachiya2
   1 IronNine
   1 Johnny_S
(snip)   
   1 yoppy
   6 youpy
   1 yugui
   2 yuiseki
   3 yukichi
   1 yusukebe
   2 yuyarin
   1 yuzupepper
   1 zammersonic

もちろん前のほうのexthtmlの-dをふやせばfollowing全員たどれるし、後のほうのexthtmlに-n、-dをつければどんどん深く辿れてべんり。両方-d 10000ぐらいにしたら過去のfavoritesぜんぶとれます。だけどtwitterのサーバは貧弱なのであんまり叩くと死にそうでこわいですね。

http://fuba.moaningnerds.org/src/exthtml.pl

画像一覧からXPathでぶっこぬいてダウンローダにわたす、といった用途から簡単なマイニングまでべんりにつかう予定。

つかいかた

% ./exthtml.pl [ -a [AGENT] -e [REFERER] -c [COOKIE_JAR] ] -x [XPATH] [URL]
% perl exthtml.pl -a Mozilla -c ~/Library/Cookies/Cookies.plist -X "//img[@class='image']/@src" http://www.tumblr.com/dashboard
http://media.tumblr.com/XEVQcg9Zzaj7driiTV8baCRJ_400.gif
http://media.tumblr.com/G6je7UvklaklnqmgypCVpgBg_100.jpg
http://media.tumblr.com/G6je7UvklaklnqmgypCVpgBg_400.jpg
http://media.tumblr.com/Bcb4YCrxh3s3i9vsNiAe7H0C_100.jpg
http://media.tumblr.com/Bcb4YCrxh3s3i9vsNiAe7H0C_400.jpg
http://media.tumblr.com/cqRYWOkYRambcyqr1PmewR2r_100.jpg
http://media.tumblr.com/cqRYWOkYRambcyqr1PmewR2r_400.jpg
http://media.tumblr.com/vj8toQRftakozppfgR7H0j40_400.jpg
http://media.tumblr.com/51bAnBJJUamcm3iu9QVSYb2t_100.png
http://media.tumblr.com/51bAnBJJUamcm3iu9QVSYb2t_400.png
% perl exthtml.pl -a Mozilla -c ~/Library/Cookies/Cookies.plist -X "//table[@id='timeline']//img[@class='photo fn']/@alt" http://twitter.com/ | sort | uniq -c
   1 Tadaki Osawa
   1 Vol.2%
   2 Yusuke Yanbe
   1 hanemimi
   2 log_070702
   1 oklahomamixer
   2 totoounk皇子
   2 ☆ギンギンギラギラギンギンのもりひろ☆
   2 オリハタ
   3 ヤマタケ
   1 小池 陸
   1 岸田渉
   1 星村

code

#!/usr/bin/perl
use strict;
use warnings;

use Encode;
use Getopt::Long;

use LWP::UserAgent;
use HTTP::Cookies::Guess;

my $url = pop @ARGV;

my ($xpath, $referer, $cookie, $agent);
my $result = GetOptions(
    "x|xpath=s" => \$xpath,
    "e|referer=s" => \$referer,
    "c|cookie-jar=s" => \$cookie,
    "a|agent=s" => \$agent,
);

die "usage: ./exthtml.pl [ -a [AGENT] -e [REFERER] -c [COOKIE_JAR] ] -x [XPATH] [URL]" unless ($url && $xpath);

$xpath = decode('utf-8', $xpath);

my $ua = LWP::UserAgent->new;
$ua->cookie_jar(HTTP::Cookies::Guess->create(file => $cookie)) if ($cookie);
$ua->agent($agent) if ($agent);

my $tree = HTML::TreeBuilder::XPath::Remote->new_from_uri($url, $ua, $referer);
for my $node ($tree->findnodes($xpath)) {
    print encode('utf-8', $node->getValue."\n");
}

package HTML::TreeBuilder::XPath::Remote;
use strict;
use warnings;

use List::Util qw( first );

use Encode;
require Encode::Detect;

use HTML::TreeBuilder::XPath;
use HTML::ResolveLink;

use LWP::UserAgent;
use HTTP::Request;
use HTTP::Response::Encoding;

sub new_from_uri {
    my ($pkg, $uri, $ua, $referer) = @_;
    
    my $resolver = HTML::ResolveLink->new(
        base => $uri,
    );
    
    return HTML::TreeBuilder::XPath->new_from_content(
        $resolver->resolve(
            $pkg->get($uri, $ua, $referer)
        )
    );
}

sub get {
    my ($self, $uri, $ua, $referer) = @_;
    
    my $html;
    
    $ua ||= LWP::UserAgent->new();
    my $req = HTTP::Request->new('GET', $uri);
    $req->header(referer => $referer) if ($referer);
    
    my $res = $ua->request($req);
    
    # this detection is based on Web::Scraper.
    if ($res->is_success) {
        my @encoding = (
            $res->encoding,
            ($res->header('Content-Type') =~ /charset=([\w\-]+)/g),
            "Detect",
            "shift-jis"
        );
        my $encoding = first {
            defined $_ && Encode::find_encoding($_)
        } @encoding;
        
        $html = Encode::decode($encoding, $res->content);
        return $html;
    }
    return;
}

lib/Plagger/Plugin/Filter/EntryFullText/LDRFullFeed.pm

http://b.hatena.ne.jp/otsune/20080530#bookmark-8776502

SITEINFOはwedata版に書き換えたほうがよさそう

とのことなので書き換えた。HTML::Featureを使ってもっと便利にしたかったのだけど、UAがうまく置き換えられない問題とかが残ってるのであいかわらずEntryFullTextを継承。なのでPPF::EFT::SiteInfoのEFTのyamlがうまく一緒に使えない問題が残ってます。あとPPF::EFT::SiteInfoも野良siteinfoがあればまだ使えるのでこっちは名前かえました。Webservice::WedataはkoyachiさんのところからとってきてくださいWebService::WedataもCPANからインストールできるようになりました、とてもよかったですね。

config.yaml

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://kichiku.oq.la/rss
        - url: http://kawamurayukie.cocolog-nifty.com/blog/

  - module: Filter::EntryFullText::LDRFullFeed
    config:
      force_upgrade: 1
#      impersonate: 1

# upgrade http://pixiv.net/
author: fuba
custom_feed_handle: http://www\.pixiv\.net/
custom_feed_follow_link: member_illust\.php\?
handle: http://www\.pixiv\.net/member_illust\.php\?
extract_xpath:
  body: //div[@id="content2"]
  author: //div[@id="profile"]/div/text()

config.yaml

ブラウザのcookieを使う。なにかがexpiredだとmypage.phpにリダイレクトされるっぽいので一度www無しのedit.phpに捨てアクセス。custom_feed_handleはwww入りになってるのでEFTは動かないで、2つ目以降のURLだけ有効になる。

global:
  user_agent:
    cookies: /Users/ec/Library/Cookies/Cookies.plist 
  timezone: Asia/Tokyo

plugins:
  - module: Subscription::Config
    config:
      feed:
        - url: http://pixiv.net/edit.php
        - url: http://www.pixiv.net/ranking_r18.php
  - module: Filter::EntryFullText