修士課程のまとめ

2015年4月に修士課程に入学してからの興味の変遷と修士論文での着地をまとめます 東大情報理工コンピュータ科学専攻の相澤研(場所は国立情報学研究所)というところの所属で、自然言語処理?計算言語学?をやっています すこし来年度からの話もします 入学…

AAAI-17 に行きました

AAAI-17 (Feb. 4-9, 2017 @San Francisco) http://www.aaai.org/Conferences/AAAI/aaai17.php という人工知能系の国際会議で発表してきました。国際会議にちゃんと論文を通すのは初めてだったので、記録がてら経緯を書きます。 サンフランシスコの写真。 執…

beamer, presenter notes, pgfpages, splitshow

やること beamer で作ったスライドで発表する(環境は OSX) 発表者ノート的なものも使いたい 手順 tex に仕込むコード \usepackage{pgfpages} \setbeamertemplate{note page}[plain] % or [default], [compress] \setbeameroption{show notes on second scr…

Springerexemplar の grep

Springer Exemplar - Scientific Terms in Context と言えば Springer が有するコーパスから指定したフレーズの一致件数・一致例を出してくれるサイトですが、「この表現とあの表現の一致件数を比較したいな〜」というときに一発コマンドを打てると楽だなあ…

今年読んだおすすめの論文10本(15本)

What Kinds of Knowledge are Needed for Genuine Understanding? http://cognitum.ws/wp-content/uploads/2015/06/Schubert20152.pdf 知識枠 Where are they looking? http://web.mit.edu/vondrick/gaze.pdf 目からビーム枠 Describing Images using Inferr…

UBLP (EMNLP2016WS) の対話セッションのメモ

Uphill Battles in Language Processing Scaling Early Achievements to Robust Methods, Workshop held in conjunction with EMNLP 2016 http://www.coli.uni-saarland.de/~mroth/UphillBattles/ EMNLP 2016 のワークショップ 「現時点までの成果をどうやっ…

Attention-Based Convolutional Neural Network for Machine Comprehension をやる

著者の微妙に動かないコードを動かすだけです paper: [1602.04341] Attention-Based Convolutional Neural Network for Machine Comprehension github: GitHub - yinwenpeng/MachineComprehension cis や word2embedding などのライブラリは Yin さんの別の…

latex で table 書くときにね?

よくひとつのセルに改行含めた表現を入れたくなるじゃないですか、こんなふうに ここでは \shortstack{All you need is \\ love} って書いてます。見るからに美しさに欠けており、内容の上に余白ができないかなあと思って困ってたんですが(そもそもバリバリ…

pdftotext して持ってる論文の文字列検索をできるようにしておく

本文の通りのやつのメモです1. pdftotext を入れる 2. 論文の pdf が大量に入っているディレクトリで $ for i in *; do pdftotext $i; done みたいなことをすると .txt が大量に吐き出される(ls でやろうとすると空白混じりのファイル名の読み取りで困った…

tikz, node, text, graphicx

%% \usepackage[dvipdfmx]{graphicx} \usepackage[pdftex]{graphicx} dvipdfmx を入れっぱなしで、 tikz の node 内の text の centering がおかしいことになっていた。 graphicx 自体をコメントアウトするか、 option を pdftex にする。 出力の仕方に応じ…

2016年前半くらいの論文のメモ

無所属? SQuAD: 100,000+ Questions for Machine Comprehension of Text http://stanford-qa.com http://arxiv.org/abs/1606.05250 Towards an integration of deep learning and neuroscience http://arxiv.org/abs/1606.03813 Learning End-to-End Goal-O…

JSAI2016 のしおり

気になるリンク集です 2016-06-06 jsai2016:1A4-OS-27b-3 逆畳み込みニューラルネットワークを用いた輪郭検出 jsai2016:1A4-OS-27b-4 キャプションからの画像生成を行うニューラルネットへの対話的修正の導入と検討 jsai2016:1A5-OS-27c-1in1 Deep Neural Ne…

latex, itemize, 項目内の行間

itemize における同一項目内での行間の設定の仕方がよくわかっていなかった \parskip とかではない たとえば \fontsize{12pt}{15pt}\selectfont をするとフォントサイズが 12pt へ変わってくれるわけだけど、15pt の部分が行送り(行の最上部から次の行の最…

学振DC申請体験記(提出直後版)

学内の締め切りが過ぎたので、学振DC申請の体験記みたいなものを書きます DC1 です 申請書は採否が出たら公開します、今は忘れないうちに記録を残します (追記3)採用されたらにしてください 不採用だと説得力が出ないので、採用されてるといいな (追記1)…

dict の key/value を反転させる regexp

$ pbpaste | perl -pe "s/('.*?'): ('.*?')/\2: \1/g" 最短一致がこのように書かれること

Subordinating conjunctions vs. Conjunctive prepositions について

Subordinating conjunctions vs. Conjunctive prepositions Aarts 2011, Oxford Modern English Grammar における文法について 一般的に従属接続詞 (subordinating conjunctions) と呼ばれている語が Aarts の文法では接続前置詞 (conjunctive prepositions)…

matplotlib, pylab

要は pylab は matplotlib.pyplot だけでなく numpy や matplotlib.mlab の関数も呼べるようになるらしい。たしかに、 >>> import pylab as pl >>> len(dir(pl)) 948 >>> import numpy as np >>> len(dir(np)) 585 >>> import matplotlib.pyplot as plt >>> …

言語理解系タスクの列挙

NLP

2017-06-17 更新 (LAMBADA, MS MARCO, NewsQA) 2016-09-02 更新 (Who-did-What) 2016-07-08 更新 (SQuAD) 最近の論文で見かけたものが中心です これは要チェックやろ!なものが他にあったら教えていただけると幸いです Allen Institute for AI の Aristo の…

virtualenv, zsh, and rprompt

導入したので覚え書きを残す virtualenv 入れないと pip list が荒れたり依存関係で人が死んだりする virtualenv はひとまず ~/.venv のように共通化しておいて、alias ve='source ~/.venv/bin/activate' とする python3は必要になってないからまだ作ってな…

Training, Validation, Development and Test set の区別について曖昧さがあった

ので、検索した結果を貼ります artificial intelligence - whats is the difference between train, validation and test set, in neural networks? - Stack Overflow たぶんわかる(その1) machine learning - What is the difference between test set an…

Show, Attend and Tell の再現をやる

概要 paper: Show, Attend and Tell: Neural Image Caption Generation with Visual Attention arxiv.org/abs/1502.03044 Attention 能力を備えたキャプション生成 CNN で特徴抽出 抽出した特徴からキャプションを生成するように LSTM を学習 論文の著者は2…

mallet CRF の確率出力

状態の番号がよくわからんかったという話。 参考は http://mallet.cs.umass.edu/fst.php // 各クラスの import や crfの宣言は済んでいるということにして... CRFTrainerByLabelLikelihood trainer = new CRFTrainerByLabelLikelihood(crf); trainer.setGaus…

pythonのword2vecがインストールできなかった

でも唸っていたらできたのでメモ 環境はOSX(10.10)でgccは(homebrew gcc47)です$ pip install word2vec すると ValueError: 'word2vec/word2vec_noop.pyx' doesn't match any files Command "python setup.py egg_info" failed with error code 1 in ... な…

Java, jar, javac

ジャバのジャーをクラスファイルから再錬成して実行したいときの話。 さっぱり知らなかったけど関連のコマンドが複数あって「(全部javaコマンドに適切なオプションつけて投げたらOK、ってわけじゃないのか……)」という気持ちになった。 # class ファイルを…

python, json, unicode

なんでうまくいったのかよくわからないけど、unicodeでいろいろ書いてあるjsonファイルを読み込んでまた書き込みたいときの処理。 import json, codecs ## 読み込み fin = codecs.open(fin_name,'r','utf-8') jdata = json.load(fin) fin.close() ## jdata …

scikit-learn の RandomForest

肝心な部分だけ from sklearn.ensemble import RandomForestClassifier # n_estimatorsはtreeの数, random_stateはseed model = RandomForestClassifier(n_estimators=10, random_state=17) # がくしう model.fit(train_data, train_label) # 出来上がったtr…

思考停止pandoc

導入は OSX - MarkdownからWordやPDF生成ができるようにする (またはPandoc環境の構築方法) (2014/09版) - Qiita などを参考にしました。tex環境が整っている場合は飛ばしてpandocのコマンドだけ見ればいいのだと思います。実際に出力してみると、デフォルト…

Stanford Parser について

NLP

Home: http://nlp.stanford.edu/software/lex-parser.shtml FAQ: http://nlp.stanford.edu/software/parser-faq.shtml Tag and Bracket: http://web.mit.edu/6.863/www/PennTreebankTags.html More details: https://catalog.ldc.upenn.edu/docs/LDC99T42/ D…

クロフト「事象構造と言語構造」

トマセロ(編)大堀ほか(訳)『認知・機能言語学』研究社、2011年 (論文集) 3章 ウィリアム・クロフト「事象構造と言語構造」pp.113-145 William Croft, The structure of events and the structure of language, 1998 訳者・編者による前置き 事象の時間的…

theanoでMNISTのnegative log-likelihood

theanoでMNISTを多層パーセプトロンするとき(日本語?)のnegative log-likelihoodをコストとして計算する式であるところの NLL = -T.sum(T.log(p_y_given_x)[T.arange(y.shape[0]), y])]という式について、ただし実用的には、 NLL = -T.mean(T.log(p_y_giv…

log2015-11-21

log

2015-11-21 日本科学哲学会シンポジウムのメモ 講演:保前文高「言語獲得の発達脳科学」 脳科学と芸術、という本の中に論文がある 言語発達脳科学とコンパクトに言ったりする 言語科学教室というのは生成文法を中心の言語理論の専門家と 脳を中心にアプロー…

log2015-11-20

log

研究室で週に一度、NLPに関わりそうな好きなテーマで発表をするという会をやっていて、今回の担当では言語に関わる脳の話をすこしだけしました。読んだ(紹介した)本は脳はいかにして言語を生みだすか 武田ほか、2012年、講談社 http://www.amazon.co.jp/dp…

log2015-11-13

log

logyyyy-MM-ddとしているものは研究や研究室での活動のログにしようと思います。 古いのは残していないので2015年11月からということで。発表や論文紹介などで使ったスライドはできれば公開したいのですが、論文の引用や画像がそのままだったりするので、必…

マイケル・トマセロ『ことばをつくる』

邦訳:辻幸夫ほか、2008年、慶応義塾大学出版会 原著: Michael Tomasello. 2003. Constructing a Language: A Useage-Based Theory of Language Acquisition. Cambridge, Massachusetts and London, England: Harvard University Press. 言語獲得の本です 部…

List/ACL2015

ACL2015で気になった論文です、anthologyのページで検索かけて見つけています。調べたものがあるたびに追記。列挙しているだけなので全部きっちり読んでいるわけではないです。 Knowledge- Semantically Smooth Knowledge Graph Embedding - ACL Anthology […

List/arXiv:1507

[1507.01122] Modeling the Mind: A brief review [1507.01127] AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes [1507.01193] Dependency Recurrent Neural Language Models for Sentence Completion [1507.01526] Grid Long…

人工知能学会全国大会2015に参加しました

人工知能学会全国大会2015に参加しました。参加記ということで。 自分の発表 私の発表は jsai2015:2L3-3 目的論的意味理解に基づく対話システムへのモデル提案 発表のスライドも。 概要をざっくり説明すると、 ・ミリカン的な目的論的意味論で意味の定義から…

List/arXiv:1506

arXivで見つけた気になる論文のリスト。月ごとに記事を用意して、日々追記します。しっかり読んだら別の記事にします。なるべく番号順にしたい。 [1506.00019] A Critical Review of Recurrent Neural Networks for Sequence Learning [1506.00195] Recurren…

Reproc.pnzについて

2015-05-10に作成しました。 それ以前の日付の記事は私個人の別のブログの雑記から移動させたものです。

とある卒論合同誌のためのメモ2

・意識の表象理論の問題点のひとつめ、高階の表象理論まわり 意識の表象理論には課題がある。(鈴木, 2015, 『ぼくらが原子の集まりなら、なぜ痛みや悲しみを感じるのだろう』)の4章を参考にして、本稿で提示する概念(前章で提示された概念)がこれをどの…

とある卒論合同誌のためのメモ

・結局意味って何なの? 本来的表象の志向的内容である、でいいのかな。表象理論の整理がいまいちだからもう少し掘り下げないといけない。 表象は本来的表象と派生的表象に区別される。「ある生物の内部状態が本来的表象である」ことは、「その状態があると…

JavaScriptのclosureについて

・関数,クロージャ,オブジェクトなどの細かい実装差分 手元ではnode.js v0.10.32で出力させて確認。 /* sample1 ただの関数 */ console.log("---sample1---"); function init1() { var num = 0; function disp() { num++; console.log(num); } disp(); } ini…

プログラミング雑記:ABC017C

・ABC017C+のいもす法(30+70+1) http://abc017.contest.atcoder.jp/submissions/349221 いもす法じゃない法(30+70) http://abc017.contest.atcoder.jp/submissions/349090 という感じで、単純な例では「一次元の重みつき部分区間の集合を扱う」ときに使う。 …

make

・makeでコンパイルする習慣をつける 競技プログラミング的な問題のためにコードをコンパイルするとき、いつも $ g++ hoge.cpp -o hoge.outと書いていた。.outにするのは.oだと文字数が.cppと合わないし実行ファイルだから拡張子無しってするとディレクトリ…

プログラミング雑記

・降順のソート(vector) sort(v.begin(), v.end(), greater<int>()); か sort(v.begin(), v.end()); reverse(v.begin(), v.end()); でよろしい。・ビット演算を使って全ての組み合わせを出力する ABC018Dのコードを漁っていたら知った。たとえば__builtin_popcoun</int>…

クリップボードとか

・計算量の圧縮について 愚直に計算したら到底終わらないような問題の計算量の次元をどうやったら落とすことができるか。ここまで数問としか呼べない程度の問題しか解いたことのない経験での雑感では、「便利なデータ構造を使って探索の次元を落とす」「アル…

プログラミング雑記

・whileとデクリメントでfor文の代用をするかしないか for (int i = 0; i < n; i++) {...} を while(n--) {...} と書くのは格好良い(もちろん使うのは回数だけ欲しいときだけね)。ただしデクリメントとwhileの判定の仕様に気をつけようねという話。具体的…

プログラミング雑記:ARC034、あとJavaとか

・ARC034Cだった ARC034C:http://arc034.contest.atcoder.jp/submissions/342262 解説:http://www.slideshare.net/chokudai/arc034 素因数分解して約数の総数を出しましょうよという問題。そもそも解答が正確に考えられてなかったので時間内には解けませんで…

プログラミング雑記:dwango2015

・じぶんが書いたやつ Atcoder上に提出した自分のコードがたどれないっぽいので、あとで見返せるようにリンクをまとめておく必要がある気がする。 dwango2015A:http://dwango2015-prelims.contest.atcoder.jp/submissions/322837 dwango2015B:http://dwango2…

プログラミング雑記

コーディングのテクニック的なものをメモする必要がある。箇条書きでいいか。ちなみに、「雑記」などのカテゴリー分類は基本的にサイト内検索に引っ掛かるようにして済ませるつもりなので、プログラミングの技術については(日記の内容が混ざらないように)p…