マガジンのカバー画像

ディープラーニングに挑戦するよ

39
本
最近はやりのAI(ディープラーニング)のプログラミングに挑戦するお話です。ディープラーニングの理論だけでなく、ソースコードも併記して少しでもわかりやすく努めてます。応援よろしくお…
運営しているクリエイター
えい夫＠データサイエンスファン

#バックプロパゲーション

第26話 バックプロパゲーションの理解に必要な知識 -バッチサイズ-

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、5つ目のバッチサイズについて学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法 ・最適化アルゴリズム ・バッチサイズ　←イマココ バッチサイズとは、重みとバイアスの更新を行う間隔のことで、ニューラルネットワークの学習効率に大きく影響を与えます。 今回はバッチサイズの概念と3種類の学習タイプについて勉強していきます

えい夫＠データサイエン…

第25話 バックプロパゲーションの理解に必要な知識 -最適化アルゴリズム-

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、4つ目の最適化アルゴリズムについて学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法 ・最適化アルゴリズム　←イマココ ・バッチサイズ 今回の具体的な内容は次のとおりです。 1. 最適化アルゴリズムの概要 2. 確率的勾配降下法(SGD) 3. Momentum 4. AdaGrad 5. RMSProp そ

えい夫＠データサイエン…

第24話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 回帰問題・分類問題編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> ・訓練データとテストデータ ・損失関数 ・勾配降下法　←イマココ ・最適化アルゴリズム ・バッチサイズ 前回は勾配降下法で使用する色々な勾配の一般式を導出しましたが、今回は回帰問題と分類問題における勾配を求めていきます。 具体的な内容は次のとおりです。 1. 勾配を求める一般式 -おさらい-

えい夫＠データサイエン…

第23話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 詳細編

今回もニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習していきます。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 前回は勾配降下法の概要を説明しましたが、今回はもっと深入りした話です。具体的な内容は次のとおりです。 1  求めるべき勾配(前回のおさらい) 2  勾配を求める式のまとめ 3

えい夫＠データサイエン…

第22話 バックプロパゲーションの理解に必要な知識 -勾配降下法- 概要編

今回はニューラルネットワークの学習アルゴリズム"バックプロパゲーション"に必要な5つの知識のうち、3つ目の勾配降下法を学習します。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法　←イマココ 4　最適化アルゴリズム 5　バッチサイズ 具体的な内容は次のとおりです。ニューラルネットワークが学習するときどういう処理がされているかの概要がわかってくるかと思います。 ・勾配降下法の概要 ・バックプロパゲーションにおける勾

えい夫＠データサイエン…

第21話 バックプロパゲーションの理解に必要な知識 -訓練データとテストデータ、損失関数-

今回からNN(ニューラルネットワーク)の学習アルゴリズムであるバックプロパゲーションの中身について学習していきます。 バックプロパゲーションを理解するためには次の5つの要素を知る必要がありました。 <バックプロパゲーションの理解に必要な5要素> 1　訓練データとテストデータ 2　損失関数 3　勾配降下法 4　最適化アルゴリズム 5　バッチサイズ 今回はこのうちの1と2について勉強していきます。 具体的な内容は次のとおりです。 ・訓練データとテストデータ ・損失関数(二乗和

えい夫＠データサイエン…

第20話 ニューラルネットワーク学習アルゴリズム"バックプロパゲーション"の概要

今回からはニューラルネットワークの学習アルゴリズムであるバックプロパゲーションについて学習していきます。 前回までにニューラルネットワーク(以降NNと呼ぶ。)の実装を行い、ニューロンの重みとバイアスを設定することの難しさを実感しましたが、バックプロパゲーションをマスターすれば自動で重みとバイアスをコンピュータに決定させることが可能になります。すごい！ すごいのは良いのですが、教科書では約50ページの分量があり、数式も連発してきて早くも挫けそうです・・・。 なんとか頑張って

えい夫＠データサイエン…