Perl/Web-Scraper

Web::Scraper

1. perldoc Web::Scraper 정리

1.1. 이름

1.2. 개요

1.3. 설명

1.4. 메쏘드

1.4.1. scraper

1.4.2. scrape

1.4.3. process

1.5. 예문

1.6. 참조

2. 주인장 추가

2.1. 원하는 엘리멘트를 골라내는 법

2.2. 추출할 내용을 명시할 때

2.3. 수행속도 비교

3. 기타 & Comments

1. perldoc Web::Scraper 정리

1.1. 이름

1.2. 개요

  use URI;
  use Web::Scraper;

  # 먼저 스크래이퍼 블록을 생성
  my $tweets = scraper {
      # 클래스가 "status"인 LI들을 분석, 'tweets' 배열에 저장
      # 각 트윗에 대해 동작하는 또다른 스크래이퍼가 중첩되어 있음
      process "li.status", "tweets[]" => scraper {
          # And, in that array, pull in the elementy with the class
          # "entry-content", "entry-date" and the link
          process ".entry-content", body => 'TEXT';
          process ".entry-date", when => 'TEXT';
          process 'a[rel="bookmark"]', link => '@href';
      };
  };

  my $res = $tweets->scrape( URI->new("http://twitter.com/miyagawa") );

  # 결과물은 수집된 트윗들의 배열
  for my $tweet (@{$res->{tweets}}) {
      print "$tweet->{body} $tweet->{when} (link: $tweet->{link})\n";
  }

1.3. 설명

• DSL2 식의 인터페이스 제공
• HTML 문서를 분석하여 Perl 자료구조를 반환
• scraper, process 블록 - 문서에서 추출할 세그먼트를 정의하는 메쏘드 제공
  • HTML과 CSS 셀렉터에서 사용하는 표현을 사용가능
  • XPath 표현식(expression)에서 사용하는 표현을 사용가능

1.4. 메쏘드

1.4.1. scraper

  $scraper = scraper { ... };

1.4.2. scrape

  $res = $scraper->scrape(URI->new($uri));
  $res = $scraper->scrape($html_content);
  $res = $scraper->scrape(\$html_content);
  $res = $scraper->scrape($http_response);
  $res = $scraper->scrape($html_element);

  $res = $scraper->scrape($html_content, "http://example.com/foo");

1.4.3. process

  scraper {
      process "tag.class", key => 'TEXT';
      process '//tag[contains(@foo, "bar")]', key2 => '@attr';
  };

  # <span class="date">2008/12/21</span>
  # date => "2008/12/21"
  process ".date", date => 'TEXT';

  # <div class="body"><a href="http://example.com/">foo</a></div>
  # link => URI->new("http://example.com/")
  process ".body > a", link => '@href';

  # <div class="body"><a href="http://example.com/">foo</a></div>
  # link => URI->new("http://example.com/"), text => "foo"
  process ".body > a", link => '@href', text => 'TEXT';

  # <ul><li>foo</li><li>bar</li></ul>
  # list => [ "foo", "bar" ]
  process "li", "list[]" => "TEXT";

  # <ul><li id="1">foo</li><li id="2">bar</li></ul>
  # list => [ { id => "1", text => "foo" }, { id => "2", text => "bar" } ];
  process "li", "list[]" => { id => '@id', text => "TEXT" };

1.5. 예문

1.6. 참조

• http://blog.labnotes.org/category/scrapi/ 4
• HTML::TreeBuilder::XPath

2. 주인장 추가

2.1. 원하는 엘리멘트를 골라내는 법

• CSS2의 Selector[2] - 패턴 매칭 섹션[3] 참고
• XML의 XPath[4] - 이건 너무 길고, 봐도 모르겠군.

• E:last-child 는 안 됨.
• E:nth-child(n) 은 되지만 E:nth-last-child(n)은 안 됨

2.2. 추출할 내용을 명시할 때

2.3. 수행속도 비교

• 클리앙 "모두의 공원" 게시판 첫 페이지의 내용을 읽어온 후
• a태그의 href 속성값, 즉 페이지 내에 있는 모든 링크들을 추출해 본다 - 다음 세 가지 방법을 각각 200번씩 수행
  • Web::Scraper 를 사용
  • HTML::TokeParser 를 사용
  • /정규표현식을 사용

#!/usr/bin/perl
use strict;
use warnings;

$| = 1;
use Benchmark qw(:all);
use Web::Scraper;
use WWW::Mechanize;
use HTML::TokeParser;
use Encode;
binmode STDOUT, ":utf8";

# html 을 가져옴
my $Mech = WWW::Mechanize->new();
$Mech->get( "http://clien.career.co.kr/cs2/bbs/board.php?bo_table=park" );
my $Html = decode( "UTF-8", $Mech->content );

# Web::Scraper 를 사용해서 링크 뽑아내기
sub t1_scraper {
    my @links = ();
    my $scraper = scraper {
        process "a", "links[]" => '@href';
    };
    my $res = $scraper->scrape( $Html );

    @links = @{ $res->{links} };
}

# HTML::TokeParser 를 사용해서 링크 뽑아내기
sub t2_tokeparser {
    my @links = ();
    my $parser = HTML::TokeParser->new( \$Html );

    while ( my $token = $parser->get_tag("a") ) {
        push @links, $token->[1]{href};
    }
}

# 정규표현식을 사용해서 링크 뽑아내기
sub t3_regexp {
    my @links = ();
    while ( $Html =~ /<a[^>]+href=(["'])(.+?)\1.*?>/gi ) {
        push @links, $2;
    }
}

# 테스트
my $results = timethese(
        200,
        {
            'Scraper' => \&t1_scraper,
            'TokeParser' => \&t2_tokeparser,
            'RegExp' => \&t3_regexp,
        },
    );
cmpthese( $results );

Benchmark: timing 200 iterations of RegExp, Scraper, TokeParser...
    RegExp:  3 wallclock secs ( 2.72 usr +  0.00 sys =  2.72 CPU) @ 73.53/s (n=200)
   Scraper: 34 wallclock secs (33.73 usr +  0.01 sys = 33.74 CPU) @  5.93/s (n=200)
TokeParser:  3 wallclock secs ( 3.00 usr +  0.00 sys =  3.00 CPU) @ 66.67/s (n=200)
             Rate    Scraper TokeParser     RegExp
Scraper    5.93/s         --       -91%       -92%
TokeParser 66.7/s      1025%         --        -9%
RegExp     73.5/s      1140%        10%         --

3. 기타 & Comments