読者です 読者をやめる 読者になる 読者になる

今年よかった習慣: ライフログ収集および可視化

Slack Pebble ライフログ

年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。

データを眺めるのが好き

昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。

収集している情報

上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithubへのリンクも貼っておきます。

以上のような自分の毎日に関連する情報が溜め込み可視化できるようにしていて、可視化した情報をPhamtomJSでスクリーンショットを取ってメールで自分に送り付けています。

実現方法

このようなライフログの収集および可視化は、以下のツールを用いて行なっています。

  • データの収集: 上に書いたようなapiを叩いたり、スクレイピングを行なうスクリプトで取ってきます
    • 基本的には自宅のmac miniでやっていますが、外部にサーバーとして公開するのは面倒なので、ところどころデータをdropboxで同期
  • データの格納方法: ElasticSearchに投入しています。時系列で可視化したいので、時刻に関するところだけ簡単にMappingを書いています
  • データの可視化: Kibanaを使って可視化しています。基本的にelasticseachにデータを入れておけば驚くほど簡単に可視化できるのでkibana様々です

データから分かった知見(?)

人が見て面白いと思うかは分からないですが、自分としては面白いと思った知見だったり気付きをいくつか書いてみます。

  • gitのcommitログやtoggleのタスクログから「この時期はこういう仕事をしていたな」というのが数値として分かる
    • 思ったよりできていないな、ということも客観的に(知りたくなくても)分かる
  • 自分の投資している銘柄が急落した際に株式市場で何が起こったかニュースと照し合わせることができて便利
    • こういう事象が起こるとこういう業種は株価がどう動くか、というのが勉強できる
  • 毎月どれくらい貯金できていて、一年でどれくらい溜まりそうというのが分かる
  • 今年の京都は暖冬だけど、標準偏差を見ると寒暖差はむしろ大きいので風邪に注意する必要があることが分かる
  • 追いきれなかったslackやtwitterの祭りをkibanaで後からゆっくりと眺めることができる

自分のそのときどきの気分も時系列で取得してあるので、fitbitの歩数や作業している内容、位置情報などから自分の気分を予測する(L1)回帰モデルを作ると、自分はどういうときに幸せな感じかが変数の係数を見ると分かると思うので、やってみると面白いような気がしています。まだやっていないですが。言語処理屋、機械学習屋としてはeat your own dog foodっぽい感じかもしれないですね。

預金やload average関係は異常検知の機械学習モデルを作って、携帯にアラートを飛ばせるようにしておくのもいいかもしてません。とにかくデータがあるので、色々料理のしようがあります。

今後

自宅のmac miniに頑張らなくてもひたすらデータが集まる仕組みができたので、来年も回していきたいと思います。友達に自分が好きなデータに関して分析している人もいるので、私も面白い分析を思いついたら何かやってみるかもしれません。

それとは別にJINSがMEMEという目から様々な情報を取ることができるメガネを発売したので、気が向いたら購入&データの収集をやってみるかもしれません。

高速スケーラブル検索エンジン ElasticSearch Server

高速スケーラブル検索エンジン ElasticSearch Server

  • 作者: Rafal Kuc・Marek Rogozin’ski,株式会社リクルートテクノロジーズ,大岩達也、大谷純、兼山元太、水戸祐介、守谷純之介
  • 出版社/メーカー: KADOKAWA/アスキー・メディアワークス
  • 発売日: 2014/03/21
  • メディア: 大型本
  • この商品を含むブログ (4件) を見る