EMNLP 2010の三日目の内容

  • "Measuring Distributional Similarity in Context"
    • input matrixからlatent structureを明らかにしたい(latent使うことでcontextを見る?)
    • meaningをhidden variableにして周辺化したものを考える(語によってmeaningの数がえらい違う気が...)
      • =>NMFを使う => probabilistic interpretationができる(matrixで書き表わすと分かりやすい)
    • LDAと比較(tasks are isolated word similarity and lexcal substitution)
  • "A Mixture Model with Sharing for Lexical Semantics"
    • word senses = background + sense-specific deltas
    • one word one prototype, multi-prototype
    • Tiered Clustering
      • backgroundなクラスターとspecificなクラスター(複数のうちから一つ)を選んでくる
    • 帰って読み直す
  • "Nouns are Vectors, Adjectives are Matrices: Representing Adjective-Noun Constructions in Semantic Space"
    • problems with compositionality as intersection
    • estimate adjective matrix \times noun vectorでliner functionとして分解
  • "Using Universal Linguistic Knowledge to Guide Grammar Induction"
    • Can we combine manually crafted rules with learning from data?
    • dependency parsing valence
    • multinomials over tags
      • tagsの後ろにsubsymbolsが隠れている
    • syntactic catetegory refinement(finkele 2007)
    • ruleを使ってconstraintsを入れる
      • 実験によると、閾値による影響はそんなに受けない
    • VBを使って推論(主問題じゃなくて双対のほうで解く?)
    • なんか言語によってはすごい上がり方をしている...
    • Language-specific rules yields further improvement
    • codeが公開されてる
  • "Dual Decomposition for Parsing with Non-Projective Head Automata"
    • best paperなアレ
    • richなモデルを使いたいけど、decodingが大変
    • simple, efficient, strong guarantee, widely applicable
    • Arc-Factored => arcのスコアを足していく => minumum spanning treeで解ける
    • Sibbling Models => NP-Hard
    • MSTとSibblingを合わせてDual Decomposition Structureとする
      • それぞれdecodeして同じだったらそれを返す、そうでなかったらペナルティ項をupdateしていく
      • 実験では98%が最適解と一致した
    • この2つを組合せる考え方は色々なところに使える
      • ex => HMM + CFG