という感じでした。一週間くらいずっとコードとにらめっこしてた。
状態の番号がよくわからんかったという話。
参考は http://mallet.cs.umass.edu/fst.php
// 各クラスの import や crfの宣言は済んでいるということにして... CRFTrainerByLabelLikelihood trainer = new CRFTrainerByLabelLikelihood(crf); trainer.setGaussianPriorVariance(10.0); trainer.train(trainingData); // transducer は何か便利なwrapperらしい transducer = trainer.getTransducer(); // SumLattice は確率出力用のクラス（？） // input はデータの系列、本例ではinput末尾のラベルが予測したいとする // もちろん番号を弄れば好きな位置の予測分布が得られます SumLattice latt = new SumLatticeDefault(transducer, input); Sequence result = transducer.transduce(input); // stnum は状態数（候補となるラベルの数） int stnum = transducer.numStates(); String names[] = new String[stnum]; double probs[] = new double[stnum]; for (int i = 0; i < stnum; i++) { names[i] = transducer.getState(i).getName(); // 次に予想される周辺確率の出力（resultの末尾で予測される各ラベルの確率） // result.size() の位置を知ればinput末尾の予測分布を知ることができる、のが大事 probs[i] = latt.getGammaProbability(result.size(), transducer.getState(i)); } // input末尾における各ラベルの予測確率 System.out.println("[Labels]" + Arrays.toString(names)); System.out.println("[Probs]" + Arrays.toString(probs)); // input末尾について予測されるラベル System.out.println("[Predict]" + result.get(result.size()-1).toString());
めでたしめでたし。
でも唸っていたらできたのでメモ
環境はOSX(10.10)でgccは(homebrew gcc47)です
$ pip install word2vec
すると
ValueError: 'word2vec/word2vec_noop.pyx' doesn't match any files
Command "python setup.py egg_info" failed with error code 1 in ...
などと言われる。
よくわからないから手動で入れる：
GitHub - danielfrg/word2vec: Python interface to Google word2vec
を好きなフォルダでgit cloneする
$ python setup.py install
すると
('Compilation command:', 'gcc [...]word2vec.c -o bin/word2vec -lm -pthread -O3 -Wall -march=native -funroll-loops -Wno-unused-result -I /usr/include/malloc')
no such instruction: `vzeroupper'
から始まる「命令ないよ」エラーがたくさん出てくる
エラーメッセージで検索すると
-march=native
を削ればできるんじゃねみたいなのが出てくる（最適化のオプションらしい）
gcc - Erroring on "no such instruction" while assembling project on Mac OS X Lion - Stack Overflow
ということでsetup.pyの中をいじってみたらうまくできました。
なんでうまくいったのかよくわからないけど、unicodeでいろいろ書いてあるjsonファイルを読み込んでまた書き込みたいときの処理。
import json, codecs ## 読み込み fin = codecs.open(fin_name,'r','utf-8') jdata = json.load(fin) fin.close() ## jdata の処理 ## 書き込み fout = codecs.open(fout_name, 'w', 'utf-8') json.dump(jdata, fout, indent=5, ensure_ascii=False) #indentを設定すると整形される fout.close()
