toaruharunohi’s diary

機械学習系会議の論文/資料の要約

要約: Neural Optimizer Search with Reinforcement Learning

http://proceedings.mlr.press/v70/bello17a/bello17a.pdf ICLR17のoral枠のNeural Architecture Search with Reinforcement Learningの手法を応用してOptimizer自体を最適化することを目指した研究 Optimizerの更新規則の表現方法 この論文では、Optimizer…

要約: Bayesian Learning via Stochastic Gradient Langevin Dynamics

https://www.ics.uci.edu/~welling/publications/papers/stoclangevin_v6.pdf 著者はMax WellingとYee Whye Tehの二人。 θをモデルパラメータとしてもつxの確率分布p(x|θ)を考える。 またθは事前分布p(θ)を持つとする。 データX={x1, x2, …, xN}を観測した場…

要約: Using Deep Learning to Reveal the Neural Code for Images in Primary Visual Cortex

https://arxiv.org/pdf/1706.06208.pdf この論文では、猿に見せた画像を入力として猿のV1(一次視覚野)のニューロン355個それぞれの発火を予測するようなCNNの学習を試みている。 予測のために用いたモデルは以下: 発火予測実験を通じて以下の結果を得てい…

要約: Multi-view Recurrent Neural Acoustic Word Embeddings

https://arxiv.org/pdf/1611.04496.pdf 音声データと文字列データについて、両者の共通空間への射影をそれぞれ学習させる研究。 目標は文字列cとして表現される単語を発音する音声データxがあった時に、両者を音声データの共通空間への射影f(x)と文字列デー…

要約: Bayesian Optimization with a Finite Budget: An Approximate Dynamic Programming Approach

https://papers.nips.cc/paper/6188-bayesian-optimization-with-a-finite-budget-an-approximate-dynamic-programming-approach.pdf N回しか関数実行ができないという設定のもとでのBayesian Optimizationのアルゴリズムを考える論文。 Bayesian Optimizati…

要約: One Model To Learn Them All

https://arxiv.org/pdf/1706.05137.pdf Google Brainからの論文 多様なドメインからなる複数タスクを同時に学習することのできるMultiModel Architectureを提案。 MultiModelは「入力データから前半部の中間特徴量への変換器」と「後半部の中間特徴量からの…