2010-01-01から1ヶ月間の記事一覧

ゼミで半教師あり学習のことを発表したのでスライドを公開します

理解が不完全だし、ゼミで再生核ヒルベクト空間のことやってなかったから途中で混ざってたりとかで大分あれな資料になってますが、公開してみるテスト。 半教師あり学習 from syou6162 次回は何を発表するか。。。

Introduction to Dirichlet Process and its Applications

学習とモデルの複雑さ*1 混合モデルにおける混合数や多項式回帰での次数をどのようにして決めるか? AICなどの情報量基準 CVによるパラメータの決定 Nonparametric Bayesian ノンパラベイジアンは違う発想をする 柔軟でないモデルは間違った推論をしてしまう …

PAC学習さん。。。

PAC Learning from Positive Statistical Queriesという論文を読みたい。正例とラベルなしデータからのみで学習が可能である!というのを理論的に述べた論文である。が、主張にPAC理論というものが使われているらしく全く分からない。ということで本を読んで…

「正例とラベルなしデータ」+「ラベル伝播」

アイデア出し。いくつか「半教師あり学習」と「正例とラベルなしデータ」に関する論文を読んだ。「正例とラベルなしデータ」のほうは決定版って感じのものはあんまりない気がしていて(分野がマイナーなのもあるかも)、「半教師あり学習」は特にグラフを使っ…

#13 A Simple Probabilistic Approach to Learning from Positive and Unlabeled Examples

D. Zhang and W. S. Lee. In Proceedings of the 5th Annual UK Workshop on Computational Intel ligence (UKCI), pages 83–87, Sept. 2005.久しぶりに正例とラベルなしデータから分類器を作る系の論文(半教師ありのゼミの関係でこっちをあんまり読めてなか…

#12 Manifold regularization: A geometric framework for learning from examples (Technical Report TR-2004-06)

Belkin, M., Niyogi, P., & Sindhwani, V. (2004b). University of Chicago. さあ、準備は整った。いざゆかん再生核の世界へ(謎。 概要 正則化を使った新しい半教師あり学習のフレームワークのようなものをproposeする。これはSVMや正則化付き二乗和誤差最小…

再生核ヒルベルト空間!!(キリッ

半教師あり学習の資料作りがあと"Manifold regularization"だけになったんだが、これがいままでより頭に入ってこない。今までの論文とかは他との差分を読めばおkというような感じだったが、差分取るもとのがない、って感じである。というわけで基礎体力が足…

#11 On transductive support vector machines

L. Wang, X. Shen, and W. Pan. In J. Verducci, X. Shen, and J. Lafferty, editors, Prediction and Discovery. American Mathematical Society, 2007. この論文のmain contributionは2点。一つ目は、いくつかの仮定を置くとTSMVsはいくつかの仮定の元で通…

#10 Transductive inference for text classification using support vector machines

Joachims, T. (1999). Proc. 16th International Conf. on Machine Learning (pp. 200– 209). Morgan Kaufmann, San Francisco, CA.10本目です。TSVMsに関する論文。うーん、内容はあんまり面白くなかったような気がする。4章の"What Makes TSVMs Especially…

半教師あり学習とは結局のところ何なのか?

半教師あり学習の本質はどこにあるのか? 現在の半教師あり学習の悪い(?)ところ その他 今週ゼミで半教師あり学習のイントロダクション的なものをやる予定なので資料を作っている。 Self Training Generative Models S3VMs Graph-Based Algorithms Multiview …

SRM439 Div1 250 MazeMaker

迷路関係の問題。上下左右に動けるんじゃなくって、動き方が決まっている。いくつか行けない場所が指定されていて、その中で行くのに一番遠い場所に行くためのステップ数を返せ、というような問題。幅優先。 // BEGIN CUT HERE // END CUT HERE // Xの場所は…

SRM439 Div2 250 SquareOfDigits

過去問。easyになってる問題から解いていくことにする。数字が入ってるvectorが与えられて、それを行列っぽく見たてる。正方形の端点が同じになっているようなものの中で面積が一番大きいものの面積を返せ、というような問題。 // BEGIN CUT HERE // END CUT…

今年の目標、というわけじゃないけど

3つほど基軸になって動き始めている、という感じ。3つというのは 論文を読む&書く 英語 プログラミング です。まあ、英語とプログラミングは「論文を読む&書く」のサブセットだと思うけど、別に時間を取って訓練するということです。論文に関しては論文100本…

#9 The concave-convex procedure

Yuille, A.L., Rangara jan, A. Neural Computation 15(4) (2003) 915–936ちょっと間が空いてしまったけど、継続しますよ。今日の話題は最適化に関するところ。最適化を勉強したいわけじゃないんだけど、[1]を読むためにはこれを避けては通れないので読んで…

dispatherについてのメモ

某所のほげほげでCGI的何かを作るお仕事をやろうと思って、HTTP::Engineを久しぶりに見てみたり。dispathはやってくれないようなので、その辺について調べる。ディスパッチャの比較 - モダンなPerl入門で紹介されていたPath::Dispatcherが使いやすそうなので…

i英辞郎の単語帳がなかなか使える件

i英辞郎 | iPhone iPod touch 辞書 |sokoide.com 調べれば登録の手間(人間、面倒なことは続かない。星付けるだけだし)省けるし、いつの間にかgoogle docsにexport、importの機能が付いているということに気づいた。100個とか越えるとiPhoneで操作はめんどく…

#8 Large Scale Semi-Supervised Learning

J. Weston. Proceedings of NATO Advanced Study Institute on Mining Massive Data Sets for Security, IOS Press.videolectureのvideoとかプレゼンの資料とか。 Large-Scale Semi-Supervised Learning - VideoLectures.NET Large Scale Semi-Supervised Le…

#7 Semi-Supervised Learning Using Gaussian Fields and Harmonic Functions

Zhu, X., Ghahramani, Z., & Lafferty, J. (2003a). ICML-03, 20th International Conference on Machine Learning. The bulk of the harmonic functions section of the tutorial is devoted to this paper. It directly addresses many aspects of the har…

#6 Seeing stars when there aren’t many stars: Graph-based semi-supervised learning for sentiment categorization

tutorialの資料があった。Amazonのカスタマーレビューのところにある☆がいくつかを当てるような問題にSSLを適用した、というもの。グラフベースの手法。この論文のmain contributionは3つあって 教師ありでやられていたことを半教師あり学習に拡張 グラフを…

#5 Learning from Labeled and Unlabeled Data using Graph Mincuts

プレゼンの資料がここに置いてあった。SSL(Semi-Supervised Learning)でグラフ理論を使ったものには Mincut Discrete Markov Random Fields and Harmonic Functions Mainfold Regularization Graph Kernels from the Spectum of Laplacian などなどがある(そ…

#4 Learning with Positive and Unlabeled Examples Using Weighted Logistic Regression

Lee, W. S. & Liu, B. In Proceedings of the Twentieth International Conference on Machine Learning (ICML (2003).この論文のmainのcontributionは2つ。 出力値が(ただの実数ではなく)確率で返ってくるので、最尤法が使える。そして凸なので最適化が容易…

免許getして安心したので本買った

交通センター付近の熊本阪神にふらりと寄って、気づいたら本を買っていました。最短経路の本作者: R.ブランデンベルク,P.グリッツマン,石田基広出版社/メーカー: シュプリンガー・ジャパン株式会社発売日: 2007/12/13メディア: 単行本購入: 25人 クリック: 3…

免許関係全部終わり!!

なんで去年のうちに無理やり教習所終わらせたかと言いますと、本籍が熊本にあるからでした。帰省したときについでに免許センターに行って免許もgetしちゃおうってわけですね。何回も熊本と筑波を行き来するのも結構疲れる&お金かかりますし。。。というわけ…

#3 Building Text Classifiers Using Positive and Unlabeled Examples

Bing Liu, Yang Dai, Xiaoli Li, Wee Sun Lee and and Philip Yu. Proceedings of the Third IEEE International Conference on Data Mining (ICDM-03), Melbourne, Florida, November 19-22, 2003.この論文も正例とラベルなしデータからの学習に関する論文…

#2 Partially Supervised Classification of Text Documents

Liu, Bing and Lee, Wee Sun and Yu, Philip S. and Li, Xiaoli (2002). In Proc. 19th Intl. Conf. on Machine Learning.これも考えている問題は、少数のラベルありドキュメントと大量のラベルなし(この場合はmixed documentsって書いてあるが)文章で文章分…

#1 Text Classification from Labeled and Unlabeled Documents using EM

Kamal Nigam, Andrew McCallum, Sebastian Thrun and Tom Mitchell. Machine Learning, 39(2/3). pp. 103-134. 2000.少数のラベルありドキュメントと大量のラベルなし文章で文章分類。学習器は主にNaive Bayes(以下NBと書く)を利用している。最初はラベル付…

論文100本ノック始めます

僕も就活の面接のときに「74本論文読みました!」と言いたいので、というのは冗談で、せっかく新年になったので論文100本ノックなるものを開始してみようかと思うわけです。2010年12月31日に2010年に読んだ論文リストを書いておくと、はてダを開く度に今年読…