統計情報を取得していると、何名かの方は「トレンド」にグラフが出てこないことが分かりました。
APIを直接叩くと500が返ってくる。
調べた結果、APIに渡すキーワードのエンコーディングをUTF-8からEUCに変えるとうまくいくようです。なので、wgetで取ってくるURLを変更してリトライ。
find data -type f -size 0 | while read f; do
grep `basename $f` download_json.sh
done | perl -I../lib -MEEncode -pnle 's{=((%..)+)}{"=" . convert_e2e($1, $EEncode::EU, $EEncode::EE)}eg' > remaining.shファイル名は変えず、キーワードのURLだけ変更する感じで。
wget -O %E3%81%95%E3%81%95%E3%81%8D%E3%81%AE%E3%81%9E%E3%81%BF.json "http://d.hatena.ne.jp/api/keywordstats?keyword=%A4%B5%A4%B5%A4%AD%A4%CE%A4%BE%A4%DF&from=2009-01-01&to=2010-12-31&refer_count=1"; sleep 1
EEncode.pm は去年作ったやつを使いました。使い方が分かりにくすぎる！
2009年声優言及数 作業メモ（２） 所属事務所を調べたい - XXXannex
というわけで、無事データ取得は完了。
それにしても、この件って明らかにバグだけど、非公開APIの話だし、はてなアイデアの使い方がさっぱり分からんので特にアクションはしないでおこう・・・。ユーザーからのバグ報告を、ああいう訳の分からないシステムでやらせるって何なんでしょうね？
