Theano

Show, Attend and Tell の再現をやる

概要 paper: Show, Attend and Tell: Neural Image Caption Generation with Visual Attention arxiv.org/abs/1502.03044 Attention 能力を備えたキャプション生成 CNN で特徴抽出 抽出した特徴からキャプションを生成するように LSTM を学習 論文の著者は2…

theanoでMNISTのnegative log-likelihood

theanoでMNISTを多層パーセプトロンするとき(日本語?)のnegative log-likelihoodをコストとして計算する式であるところの NLL = -T.sum(T.log(p_y_given_x)[T.arange(y.shape[0]), y])]という式について、ただし実用的には、 NLL = -T.mean(T.log(p_y_giv…