さくらにhpricotでスクレイピングバフンバフーン

Hex68 — Fri, 12 Dec 2008 15:48:28 +0000

さくらサーバーにhpricotを入れて、スクレイピングなぞ嗜もう、お、オレ、超Web屋っぽくね？なんて悦に入ろうとしたら超苦労した。

というか、まだ解決してないんだけど、とりあえずの備忘録。解決しました。最後に追記しています。

まずはrubyのインストール

さくらサーバーにはrubyがインストール済みなんだけど、デフォルトのrubyだとgemをインストールする時、

/usr/local/lib/ruby/1.8/fileutils.rb:243:in `mkdir’: Permission denied – /usr/local/lib/ruby/site_ruby/1.8/rbconfig (Errno::EACCES)

みたいに怒られるので、rubyをインストール。
$home/localにインストールしたいので

cd $HOME/local/src

に移動して、wgetでソースをダウンロード。

wget ftp://ftp.ruby-lang.org/pub/ruby/1.8/ruby-1.8.7.tar.gz
（現時点で1.8系は1.8.7が最新だった）

で

tar xzf ruby-1.8.7.tar.gz

できたディレクトリの中に移動して

./configure –prefix=$HOME/local
make
make install

でインストールはOK。

そのままだとrubyのパスがデフォルトのままなので、

vi $HOME/.cshrc

で開いて、中の

set path

部分に、さっきインストールして先のパスを追加する。（$HOME/local/bin）

あ、/usr/local/binより先に書かないと、デフォルトのrubyを読んじゃうので注意。

保存後、source $home/.cshrcで反映させて、where rubyのパスが変更後のものだったらOK。

gemのインストール

gemをrubyforgeから持ってきます

wget http://rubyforge.org/frs/download.php/17190/rubygems-1.2.0.tgz

tar xzf rubygems-1.2.0.tgz

cd rubygems-1.2.0

ruby setup.rb

で、インストール後にもう一回source $HOME/.cshrcをして（しないとエラーがでた）から

gem -v

とでもやってなにか表示されたらgemのインストールはできてるはずです。

hpricotインストール

ここからが本題。

gemを使って、

gem install hpricot

をやると、インストールされましたって表示されている。エラー表示はない。

でもrubyソースの中でrequire　’hpricot’するとどうもうまくいかないのだ。

例

#!/home/hmlab/local/bin/ruby

require ‘rubygems’
require ‘hpricot’

puts “Content-type: text/htmlrnrn”;

puts ‘’
puts ‘’
puts ‘
‘
puts ‘’
puts ‘’
puts ‘TEST’
puts ‘’

ただただTESTと表示させるだけなんでhpricotはrequireしているだけだ。

これをCGIとしてブラウザに表示させると、失敗する。Internal Server Errorだ。

試しにrequire ‘hpricot’の部分を削除すると、「TEST」と表示される。間違いなく問題はこの箇所。

ちなみにコマンドラインからruby test.rb(このファイル名)とすると、hpricotがrequireされていても問題ない。TESTと表示される。

えー？なんだこれ・・・？

コマンドラインからは問題ないんだから、インストールされてないってわけでもなさそうだけど・・・ふむ？わからない。なんだろ・・・？

このあとrailsでも、と思ったけど、まずはhpricotをやっつけてからにします。

あれ？ていうか、hpricotってどこにインストールされてるんだ？

追記

/local/lib/ruby/gem/gems/

ここか

追記２

エラーはgemへパスがとおっていなかっただけでした。

後日談参照で

MinorProbrem» さくらインターネット

さくらにhpricotでスクレイピングバフンバフーン

まずはrubyのインストール

gemのインストール

hpricotインストール