Twitterの分析、データ抽出

この前のCMの反響が良かったのか、Twitterで色々つぶやかれています。
そこで、つぶやきの数やら内容やらを分析して欲しいというオーダーが来ました。
(´・ω・｀)

とりあえず、データを落としてこないと分析が始まらないので、TwitterのAPIを叩いてデータを取得をすることに。

"ゼクシィ"を含むツイートの最新100件をXML形式で取得するためには、
http://search.twitter.com/search.atom?q="ゼクシィ"&rpp=100
で持ってこれるんですが、そのまま日本語を打ち込むとエラーになります。

"ゼクシィ"をエンコードして、
http://search.twitter.com/search.atom?q=%E3%82%BC%E3%82%AF%E3%82%B7%E3%82%A3&rpp=100
としてあげれば、データを抽出することができます。

ちなみに、APIの制限があって、ひたすら叩きすぎるとエラーになってしまいます。
そこで、1分間に2,3回程度の割合でデータを取得していくというじみ～な作業。

http://search.twitter.com/search.atom?q=%E3%82%BC%E3%82%AF%E3%82%B7%E3%82%A3&rpp=100?page=1

http://search.twitter.com/search.atom?q=%E3%82%BC%E3%82%AF%E3%82%B7%E3%82%A3&rpp=100?page=2

面倒くさいのでプログラム書いちゃおうかと思ったけど、世の中ではすでにがっつりデータを持ってくることができるサービスもあったので、今回はそちらを利用することにしました。