マガジンのカバー画像

ディープラーニングに挑戦するよ

39
本
最近はやりのAI(ディープラーニング)のプログラミングに挑戦するお話です。ディープラーニングの理論だけでなく、ソースコードも併記して少しでもわかりやすく努めてます。応援よろしくお…
運営しているクリエイター
えい夫＠データサイエンスファン

#勾配降下法

第25話 バックプロパゲーションの理解に必要な知識 -最適化アルゴリズム-

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、4つ目の最適化アルゴリズムについて学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法 ・最適化アルゴリズム　←イマココ ・バッチサイズ 今回の具体的な内容は次のとおりです。 1. 最適化アルゴリズムの概要 2. 確率的勾配降下法(SGD) 3. Momentum 4. AdaGrad 5. RMSProp そ

えい夫＠データサイエン…

第24話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 回帰問題・分類問題編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法　←イマココ ・最適化アルゴリズム ・バッチサイズ 前回は勾配降下法で使用する色々な勾配の一般式を導出しましたが、今回は回帰問題と分類問題における勾配を求めていきます。 具体的な内容は次のとおりです。 1. 勾配を求める一般式 -おさらい-

えい夫＠データサイエン…

第23話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 詳細編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習していきます。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 前回は勾配降下法の概要を説明しましたが、今回はもっと深入りした話です。具体的な内容は次のとおりです。 1  求めるべき勾配(前回のおさらい) 2  勾配を求める式のまとめ 3

えい夫＠データサイエン…

第22話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 概要編

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 具体的な内容は次のとおりです。ニューラルネットワークが学習するときどういう処理がされているかの概要がわかってくるかと思います。 ・勾配降下法の概要 ・バックプロパゲーションにおける勾

えい夫＠データサイエン…