Hpricot - UTF-8 issues

Question

运行以下代码时出现以下错误：

invalid byte sequence in UTF-8 (ArgumentError)

代码：

require 'hpricot'
require 'open-uri'
doc = open('http://www.amazon.co.jp/') {|f| Hpricot(f.read) }
puts doc.to_html

Hpricot无法解析日语内容。关于解决此问题的任何建议？

Answer 1

该网站

似乎没有使用UTF-8：<meta http-equiv="content-type" content="text/html; charset=Shift_JIS" />。

试试这个：

open('http://www.amazon.co.jp/') {|f| Hpricot(f.read.encode("UTF-8")) }