【Mac環境】新語・固有表現に強いmecab-ipadic-NEologdをインストールする

mecabがすでに利用できていることが前提です。mecabのインストール方法などについては【Mac】【Python 3.6.1】mecab/IPA辞書/mecab-python3インストールを確認してください。

mecab-ipadic-NEologdとは

mecab-ipadic-NEologdとは更新頻度の高い辞書です。mecabの辞書として有名なのはIPA辞書ですが、新しい言葉(造語などに)にたいして強くありません。mecab-ipadic-NEologdを使えば流行語でもひとつのワードとして形態素解析することができます。MeCabの標準のシステム辞書では正しく分割できない固有表現などの語の表層(表記)とフリガナの組を約308万組(重複エントリを含む)採録しています。この辞書の更新は開発サーバ上で自動的におこなわれ少なくとも毎週2回更新されています。

mecab-ipadic-NEologdの新語・固有表現はどこからとってきているのか?

・はてなキーワードのダンプデータ
・郵便番号データダウンロード
・日本全国駅名一覧のコーナー
・人名(姓/名)エントリデータ
・日本の山の名前を収集したリスト
・ニュース記事から抽出した新語や未知語をエントリ化したデータ
・ネット上で流行した単語や慣用句やハッシュタグをエントリ化したデータ
・Web からクロールした大量の文書データ
上記の情報をまとめて新語・固有表現として毎週2回更新されているので精度はただのIPAより高いです。

mecab-ipadic-NEologdの推奨環境

常に新語・固有表現が登録されているためかなりの容量が必要になります。メモリが少ないとコンパイルに失敗してインストールできないので要注意です。
推奨空きメモリ領域
標準インストール時(オプション未指定の場合)
必須: 空き 1.5GByte
推奨: 空き 5GByte
(2018年09月20日時点)

mecab-ipadic-NEologdのインストール前準備

mecab-ipadic-NEologdをインストールするためにはiconv,c++,mecab,mecab-ipadic,xzが必要です。mecab,mecab-ipadicのインストール方法は【Mac】【Python 3.6.1】mecab/IPA辞書/mecab-python3インストールを参照してください。Macの場合iconv,c++は標準で入っているので、それ以外は、xzをbrewで入れればOKです。

まとめると
・mecab,mecab-ipadicはダウンロードしてインストールする
・Macはiconv,c++は標準インストール済みなのでなにもしなくてOK
・xzはbrew install xzでインストールする

mecab-ipadic-NEologdのダウンロード

初回は下記コマンドを実行してgitクローンして必要なデータをダウンロードします。
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
または
git clone --depth 1 git@github.com:neologd/mecab-ipadic-neologd.git

mecab-ipadic-NEologdのインストール

1. gitクローンでダウンロードしたディレクトリに移動します。
cd mecab-ipadic-neologd

2. 実行ファイルを実行します。
sudo ./bin/install-mecab-ipadic-neologd -n軽量化インストール
sudo ./bin/install-mecab-ipadic-neologd -n -a全インストール

下記エラーがでたときのトラブルシューティング

上記エラーが発生した場合、anacondaのライブラリと干渉していてiconvがうまくインストールできない模様。

解決策
一旦pyenvをデフォルトに戻してから./bin/install-mecab-ipadic-neologd -nを実行する。

pyenvをデフォルトに戻してからmecab-ipadic-neologdのインストールをすると成功する

mecab-ipadic-neologdのインストールが完了したらpyenvの設定を元に戻してもOKです。

3. mecab-ipadic-NEologdが置いてある場所を探します
echo mecab-config --dicdir"/mecab-ipadic-neologd"

4. 3で調べた辞書のパスを指定して適当な流行語でテストをしてみます。
mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/

「あざまる水産やキンプリなどの流行語」と入力してEnter!
あざ 名詞,一般,*,*,*,*,あざ,アザ,アザ
まる 接頭詞,数接続,*,*,*,*,まる,マル,マル
キンプリ 名詞,固有名詞,一般,*,*,*,KING OF PRISM,キンプリ,キンプリ
など 助詞,副助詞,*,*,*,*,など,ナド,ナド
の 助詞,連体化,*,*,*,*,の,ノ,ノ
流行語 名詞,固有名詞,一般,*,*,*,流行語,リュウコウゴ,リューコーゴ

「あざまる水産(あざまるすいさん)」とは、「ありがとう」という意味らしいですね。。

参考サイト
mecab-ipadic-NEologd : Neologism dictionary for MeCab
JC・JK流行語大賞2018年上半期を発表 「あげみざわ」「あざまる水産」「ないたー」がランクイン!