freedom-man.com

ブログは俺のセーブポイント

Tag: Python (page 1 of 3)

MessagePackを触ってみた

MessagePackとはシリアライズ(バイナリエンコード)の方法の一つで

  • シリアライズ/デシリアライズが高速
  • シリアライズされたサイズが小さい

ProtocolBuffersと似たような性質を持ちますが、ProtocolBuffersと違って

  • IDLが不要で汎用的
  • ストリーム処理が可能(ProtocolBuffersでも出来るのかもしれませんが)

という特徴を持ちます。TreasureDataのバックエンドであるPlazmaDBやfluentdでも利用されている技術になります。

ということで今回はMessagePackを触ってみました。

Continue reading

PythonのWebアプリフレームワークFalcon試してみた

Falconという高速・シンプルなWebアプリフレームワークを触ってみましたー

PHPの高速WebアプリフレームワークでPhalconというのがありますが、PythonはFalconになります。

Continue reading

Pythonでselect, poll, epoll, kqueue試してみた

I/O多重化のシステムコールのselect, poll, epoll, kqueueをPythonで試してみましたー。Pythonは2.7系を利用しました。

Continue reading

Spark/PySparkでツイート分析してみた

Twitter Streaming APIでかき集めたツイートをSparkで分析してみました。

Hadoop版はこちら→Hadoop Streamingでアイドルツイート分析

Hive版はこちら→Hiveでツイート分析

Continue reading

Hadoop Streamingでアイドルツイート分析

Fluentd+ElasticSearch+Kibanaでアイドルデータ分析基盤を作ってみたの回で、FluentdとTwitter Streaming APIを使ってS3にツイートデータを保存したので、このデータをHadoopを使って解析してみます。

今回はMeCabを使って形態素解析してワードカウントを取るような教科書的なMapReduceを試してみました。Hadoop Streamingを使ってPythonでMapper、Reducerを書いていきます。

Continue reading

Older posts

© 2017 freedom-man.com

Theme by Anders NorenUp ↑