自然言語処理

データの持ち方を工夫→SVMを使って専門用語に分類

文字列にある文字が登場したら1、そうでなかったら0というような特徴ベクトルを束ねた行列を作ろうとしていたんだけど、巨大になりすぎた(扱うテキストの量は大分少なくしたんだけど)。つまり、こんな行列がでかくなりすぎたということだ。 グリコーゲン 分…

NLTKで遊ぶ準備

昨日はNAISTの入試に必要な書類を整えるとかの作業。添削してもらった小論文(添削していただいた方、ありがとうございます!!)を仕上げて、なんとか形に。A4で2枚ということなので、最初は1.5枚くらいで書いていたんだけど、どんどん書き加わってきて、最後の…

指標を全部実装してみた

この前の続き。先週の水曜で大体作ってしまっていたんだが、使い方ミスっててバグってると勘違いしていたorz。 出現頻度と連接頻度に基づく専門用語抽出 - Seeking for my unique color. とりあえずpneの1985年分のテキストを食わせて、それぞれの指標で上位…

出現頻度と連接頻度に基づく専門用語抽出

この前の続き。先週の週末にやるつもりだったけど、暇がなかった。 MeCabで区切った単語を再びつなげる - yasuhisa's blog 前回の流れとしては 専門用語を一つの単語として取ってくるのは難しい MeCabを使うと細かくなりすぎる 専門用語には名詞のsequenceが…

コスト最小法によるViterbiアルゴリズムを実装してみた

前回は単語数最小法によるViterbiアルゴリズムを使って、「猫はうろうろ」を形態素解析しました。 www.yasuhisay.info 単語数最小法では、単語の品詞などは見ておらず、ただただ単語数を最小にするように動的計画法であるViterbiを動かしていきます。品詞を…

MeCabで区切った単語を再びつなげる

先週は形態素解析なアプローチじゃなくて、特長語抽出のような感じで専門用語が取り出せないかなーとやっていた。 www.yasuhisay.info が、YamChaの使い方がよく分からない&使うツールの中身が今の自分にとってはブラックボックスすぎる、ということで形態素…

猫はうろうろ

にゃーにゃー、ではなくてw。情報学類(今名前変わったんだっけか)のほうで出ている自然言語処理の講義ほうで、形態素解析をするための「wikipedia:ビタビアルゴリズム(Viterbi algorithm)」というのを勉強しました(GWの前くらいに)。なんか全然分かっていな…

系列タギングというものについて勉強する

SVMを構造化処理に用いる具体的な方法は、単語の情報(見出し語・品詞の種類・語の長さなど)をベクトルに変換し、このベクトルが特定の属性を持つかどうか(「部位」「所見」などに相当するかどうか)を求める際にSVM を用いる、というものである。 No.14 …

YamChaを使ってみる

TinySVMが必要らしいので、それからインストールする作業。 wget http://chasen.org/~taku/software/TinySVM/src/TinySVM-0.09.tar.gz ./configure で、makeしようとしたらこけた><。 /tmp/TinySVM-0.09% make make all-recursive Making all in src /bin/…

Rで転置インデックスを作ろうとしたらひどく苦労したという話

WEB+DB PRESS Vol.49のP77付近を読みながら。Perlとかだったら配列のハッシュ(逆だっけ)とかで簡単に実現できそうな感じのものなんだけど、Rの仕様にひどく悩まされて一時間くらいかかってしまった。。。こういうデータから txt1 <- "PerlによるWebアプリケ…

バイオと自然言語処理&機械学習

同じ遺伝子でも見つかった経緯とか、分野によって違う名前がついていたりする そういうものに対して同じ遺伝子かどうかを判断するようなものが必要だったりする バイオ自然言語処理における最も基礎的なタスクの1つに、固有表現抽出(Named Entity Extraction…

MeCabとRMeCabをインストールして、ちょっと遊んでみる

某バイトというか勉強させてもらっているところ*1でRとMeCabでほげほげするようなのでインストールするよ!!Macです。mecabと辞書のインストールMeCab - Browse Files at SourceForge.netよりmecabとmecab-ipadicをダウンロード。win用以外のは辞書が含まれて…

日本語コーパスの2日目に参加してきた

行ってきた。前々日と前日2日東京にいて疲れたので、ちょっと遅めで大岡山に入った。二度寝ともいう。。。大岡山に行くのは初めてだったなあ。意外とアクセスがよい。ポスターメインで見てきたんだけど、結構面白そうだった。というかポスター発表とか研究会…