形態素解析 - Wikipedia - The Diigo Meta page

• 25 Feb 12
  

  civilization

  • 確率的言語モデルによる形態素解析 [編集]

     

    現在、日本語や英語などの形態素解析でもっとも有力とされるものは隠れマルコフモデル (HMM, Hidden Markov Model) による統計的な方法である。HMM は多くの言語における形態素の「つながり具合」を比較的簡単にモデル化できることがわかっている。具体的には入力文から生成可能な単語列を網羅的に列挙し、各単語間の連結部において両単語が連結して出現する確率に相当するスコアを付与する。文全体でこのスコアの合計がもっとも高くなるような品詞列を答えとする。

     

    ところが、ある特定の言語の全世界における全文章データを元にHMMを抽出することは事実上不可能であるし、さらに、そもそも文章化されたデータからHMMを抽出したとしても、それが元となる文章の解析には最適であるものの、それ以外の（たとえばHMMから見ればまったく手付かずで未知の、今から解析しようとする）文章には適しているかどうかは保証が無い事などなどから次の節で述べるような問題も発生する。
  • ロシア語、フィンランド語などでは活用はほぼすべての品詞が起こすため、これらの言語では辞書に活用形を全て収めるのは非現実的である。
• 21 Dec 11
  

  ozero rgfx
• 23 Sep 11
  

  Hisashi Nishioka

  textmining

• 10 Nov 08
  

  kdmsnr

  mecab

• 26 Mar 08
  

  Mah Saito

  japanese

  • 入手可能な日本語の形態素解析エンジン　

     
     

    [編集] フリーで入手可能なもの

     

    フリーなライセンスで、自由に入手出来る。

     
     
    • KAKASI（kanji kana simple inverter）、kakasi.namazu.org
     
    • MeCab（和布蕪）、mecab.sourceforge.net
     
    • ChaSen（茶筌）、chasen.naist.jp
     
    • Juman、nlp.kuee.kyoto-u.ac.jp
     
    • Sen（MecabのJavaへの移植）、ultimania.org、sen.dev.java.net
     
    • 日本語形態素解析Webサービス（Yahoo!デベロッパーネットワーク）、developer.yahoo.co.jp
     
     
     

    [編集] 市販されているもの

     
     
    • Rosette形態素解析システム、Basis Technology
     
     

     

    Google、Amazon、MSN、楽天などで利用されており、世界で最も利用者の多い形態素解析エンジンであると言える。

     

     
     
    • 形態素解析エンジン言語郎、Zoo Corporation
     
    • 日本語形態素解析MARIMO ムーター株式会社
     
     

     

    大規模な辞書を持たず、1000語程度の学習モデルのみで未知語、新語、流行語、略語、話し言葉に対応する。

Would you like to comment?

Join Diigo for a free account, or sign in if you are already a member.