前回に引き続き、密度比を直接推定するコーナー。時系列の変化検出や多変数の依存関係の崩れを捉える構造変化検知の手法を密度比推定で解く。 変化検知問題とカルバックライブラー密度比推定法 変化検知問題は第9節で取り扱った。ある時点tを含む前後で分布…

前回扱った内容を密度比推定により直接的にかっこよく解く。 やりたいこと 正常であると分かっているデータを元に異常が含まれるかもしれないデータの中から異常な標本を見つけ出す 個々に外れ値検出するのではなく、テストデータ全体の確率分布も考える 全…

前回の復習 前回のChaper 9では「単一の」「時系列データ」に対し、部分空間法を使った変化検出法を見た。 概要はこんな感じであった。 小さいwindow幅でデータを切って、ベクトルデータにする 過去側と現在側の2つに領域に分割 時刻tにおける過去側と現在側…

方向データの異常検知 方向データの異常検知は前回スキップしていたところ。部分空間法による変化検出をするときに方向データに関する知識が必要になったので、戻ってきた。 方向データを扱う際にキーになる分布はフォンミーゼスフィッシャー分布。こんな分…

機械学習のエントリばかりポストしていますが、現在の本職はWebエンジニアのid:syou6162です。 フロントエンドの勉強がひたすら足りていないけど、きっかけがないと色々やり出さない性格なので、勉強会ドリブンでAngularの勉強を少しづつ進めています。先週…

最近の機械学習&自然言語処理に関する情報をまとめるコーナーです。今回は医療品設計やセキュリティなど、自分があまり知らなかった分野での機械学習適用事例が多く、勉強になるものが多かったです。前回はこちら。 このエントリ忘れてるよというのがありま…

先日、社内で定期的に行なわれているフロントエンド会にお邪魔してきました(podcastが配信されています)。jser.infoというサイトを参照しながら雑談していたのですが、最近のフロントエンドの動向を知るという目的にはこのサイトなかなかよさそうでした。 機…

Mackerelアドベントカレンダー6日目です。昨日はid:buty4649さんによるmackerelメタデータでパッケージ一覧を管理するCLIツールを作ったでした。 こんにちは、株式会社はてなでアプリケーションエンジニアをやっているid:syou6162です。10月にMackerelチーム…

このエントリはDeep Learning Advent Calendar 2016 5日目のエントリです。EMNLP2016に出ていたHow Transferable are Neural Networks in NLP Applications?を読んだので、それについて書きます。 [1603.06111] How Transferable are Neural Networks in NLP…

異常検知本を最近読み進めていたので、自分が知らなくて新しく勉強になったところのみメモ。 ホテリングの法による異常検知 異常度はマハラノビス距離で与えることができる サンプル数Nが次元数Mより圧倒的に多い場合はは自由度M、スケール因子1のカイ二乗分…

Curriculum Learning(簡単なやつから学習して、難しいのは後のほうがうまく行きそう)の方法をLSTMで試してみた報告っぽい内容。要約は以下の通り。 One-Pass CurriculumとBaby Steps Curriculumの2種類があるけど、Baby Steps Curriculumのほうがお勧めでき…

サービスの構成要素の資料を眺めていて、ロードバランサとリバースプロキシがあんま分かってないなと思ったので、[24時間365日] サーバ/インフラを支える技術 ?スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ)を見ながら軽く勉…

仕事でPlayフレームワークを使っている。これまで自分が使ったことがあるフレームワークは sinatra scalatra compojure(clojure) ridge(社内のPerlのフレームワーク) などでごつい(?)フレームワークを使ったことがなかったため、慣れるのに苦戦していた。分…

IntelliJ IDEAへの不満 ここ一ヶ月と少し、IntelliJ IDEAでscalaのコードを書いた。IntelliJ IDEAでscalaのコードを書くのは多分メジャーで、設定をあまり頑張らなくても型の表示や補完をしてくれる。scalaに慣れていない人にとってはありがたいサポートだが…

社内の機械学習勉強会で最近話題になった機械学習関連のエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。GNMTで使われているEncoder-Decoderやattentionのような仕組みを直近で使う…

サービスに機械学習技術(例えばSVM)を入れる際に、「この機械学習技術は本番サービスに投入しても大丈夫なものか?」を考える基準がまとまっていると人に説明するときに便利だなとふと思ったのでまとめてみました。散々言われ尽くされている話だとは思います…

4行概要 最近社内で機械学習勉強会(ランチ会)をやっている 紹介するエントリを毎回頑張って探すのは大変 spreadsheet上で教師データを作り、機械学習モデルを学習、おすすめエントリをslackに投稿 砂場ができて便利! Google Spreadsheet上でみんなでわいわい…

最近の勉強ネタの続き。 最近所属チームがブックマークチームからMackerelチームへ変わったので、新しく必要になったことを本を読んだり小さめのコードを書いてざっと勉強した。技術スタックがかなり変わったので、勉強してキャッチアップする必要がある。も…

実タスクで簡単な能動学習を試してみました。結論としては、1200件で到達できる精度に400件程度のアノテーションでも到達でき、それによりアノテーションに要する時間をかなり削減できそうということが分かりました*1。今後、アノテーションを必要とする機械…

もう大分前になりますが、はてなの山部のメンバーで中央アルプスの木曽駒ケ岳に行ってきました。 途中までは車で。台風が近づいていましたが、結構人はいました。ロープウェイまでは専用のバスに乗って行きます。なかなかグネグネした道を行くので、車酔いに…

当たり前の話かもしれないけど、自分は経験したことがなかったのでメモがてら書いてみる。絶対これで行けるというわけではないと思うが、ある程度一般性はあるんじゃないかと。 状況設定 機械学習の評価を考える際に複数の指標がトレードオフの関係にあると…

入社して恐しいことにもう5ヶ月(!!)経とうとしていますが、Web開発にも段々慣れてきたかなと思います。この5ヶ月で勉強したことや復習したこと、これから勉強が必要そうかなと思う技術について、忘れないうちに書きとめておこうと思います。 サーバーサイド …

はてなではリリース機能改善・周知等を社員で共有する朝会が毎日あります。朝会の中で毎日誰かが自分の好きなことについて3分スピーチをするという文化があります。今日は私が担当だったので、オリンピックでさらに熱いことになっている卓球の魅力について話…

30分くらい書いていたやつが消えてしまったので、簡単にまとめる...。 自宅macで管理しているjenkinsやirc bot(ikachan)の死活管理を簡単にしたい。今は調子が悪くなっていないか死んでいないかをmackerelで監視しているが、そもそも死んだら再起動して欲し…

会社の方が先日の朝会で最近の図書館を紹介されていて、よさそうと思ったので会社の最寄りの図書館に行ってみました。図書館、高校のときの受験勉強や大学の資料調べで使ってたくらいで、かなり久しぶりな印象。 感想 最初に簡単にまとめておくと、webでしゅ…

NAACL2016 shortのベストペーパー。雑に読んだ。 https://arxiv.org/pdf/1604.03357.pdf 要約の一タスクである文短縮のタスクに視線(gaze)を予測する補助タスクを組込むとよくなったよ、という内容 一種のmulti-task learning(多段の双方向LSTMでやる) CCG-s…

先週末、はてな社内の勉強会で構造学習、特に実装が簡単な構造化パーセプトロンについて発表しました。発表資料と説明用にサンプルで書いたPerlの品詞タグ付けのコードへのリンクを張っておきます。 今日からできる構造学習(主に構造化パーセプトロンについ…

会社の山部の人に誘われて伊吹山に週末登ってきました。滋賀県にある山で標高は1300メートルくらい。初心者向けの山らしいですが、帰宅したときにはクタクタでした。しかし、頂上まできたときの達成感、眺め、下山後のご飯のうまさなどなどかなり満喫したよ…

仕事で研究しているときはもちろん論文を読むわけだけど、どういう論文読んでいるかが分かるとどういう研究をしようとしているか分かってしまうという問題(?)があり、学生の頃と比較するとほとんど書けていなかった*1。転職後、技術的な内容をブログなど通じ…

S+になるのに一年もかかってしまった。 その後の様子です。