📏平均二乗誤差（Mean Squared Error, MSE）

この式は、推定値と実際の値の誤差の二乗の平均を計算するものです。

これは、モデルの予測値と実際の値の差（誤差）を二乗し、それらの平均を取ることで、モデルの予測性能の良さを数値化しています。二乗することで、誤差の正負を問わず、大きな誤差により大きなペナルティを与えることができます。

また、文脈によっては、連続的な確率分布の下での期待値としての E(f;D) を定義する場合があり、その場合には以下のような積分形式で表されます：

ここで、 p(x) は x の確率密度関数を表し、 f(x) と実際の値  y との差の二乗に  x の確率を重みとして積分を行います。

右辺冒頭で全体をmで割ってるので、値は0から1になりますかね

実際には、平均二乗誤差E(f;D) の値が0から1の間に限定されるわけではありません。この式で計算されるのは誤差の平均ですが、誤差の二乗和はどんな範囲の値でも取り得ます。そのため、平均値も理論的にはどんな正の値でも取り得ます。例えば、誤差が非常に大きければ、平均二乗誤差も非常に大きな値になり得ます。

ここで m で割るのは、単純にサンプルの総数で誤差の総和を割って平均を取るためです。誤差が全てゼロならば、平均二乗誤差もゼロになりますが、誤差がある場合、特に個々の誤差が大きければ、平均二乗誤差もそれに応じて大きくなります。そのため、平均二乗誤差の値は0以上であり、上限は特に設定されていません。

これは期待値の計算になりますか？

はい、この式は期待値の計算と関連していますが、数学的な意味での期待値とは少し異なります。数学における期待値は確率変数の平均的な値を表し、確率論で広く使用されています。

画像の文脈では、E(f;D) はデータセット D 上でのモデル f の平均二乗誤差を表す評価関数です。ここでの「期待値」とは、モデル f がどれだけデータポイント (xi​,yi​) をよく予測しているかを評価するために使用される統計的尺度です。

これは、予測された値 hθ​(x(i)) と実際の値 y(i) の差の二乗の平均を計算することで平均二乗誤差（MSE）を求める式です。ここで、m はデータポイントの数を表します。

θはなんの意味がありますか？

θ（シータ）は、通常、機械学習モデルにおいてパラメーターまたは重みを表すために使用されます。線形回帰の文脈では、これはモデルの傾きと切片などのパラメーターを指すことが多いです。hθ​(x) は、パラメーター θ を使って入力変数 x から予測値を計算するモデルの関数を表します。

ここではθは定数ですか？

いいえ、ここでは θ は定数ではありません。θ はモデルのパラメーターを表す変数であり、モデルが学習する過程で最適化されます。線形回帰の場合、θ には傾きと切片などの値が含まれ、訓練データを使ってこれらの値が決定されるため、hθ​(x) での θ は、学習過程において変化し、最適な値を見つけるために調整されるパラメーターのセットを指します。

θが出てきたら、パラメータが沢山ある、と思えばいいですか？

はい、その通りです。θ が出てくる場合、それは通常、複数のパラメータが存在することを示しています。機械学習では、これらのパラメータを使って入力データから出力を予測する関数 hθ​(x) を定義します。例えば、線形回帰では θ は傾きと切片を含むベクトルであり、より複雑なモデルではさらに多くのパラメータを含むことがあります。