線形、非線形の本当の意味
２つの間違った説明
線形とは、
目的変数が、説明変数の一次関数で表される
目的変数が、説明変数の一次式で表される
とされるが、1は乱暴であり、2は不十分である。
線形とは関数を行列に変換できること
線形代数において、線形とは、関数 f が以下の性質を持つことをいう。
$$
\begin{align*}
&\text{加法性} \; &f(\mathbf{a} + \mathbf{b}) &= f(\mathbf{a}) + f(\mathbf{b}) \\
&\text{斉次性} \; &f(k\mathbf{a}) &= k f(\mathbf{a})
\end{align*}
$$
ここで大事なことは２つ
代数 a, b がベクトルであること
線形性から行列に変換できること
1. 代数がベクトルであること
回帰における非線形の代表として、指数関数がよく取り上げられる。
これは、指数がベクトルではないからである。
一方、単回帰、重回帰でよく使用される多項式は、ベクトルである。
この２つの違いは、以下のベクトルの公理を満たすかどうか。
$${\lambda}$$, $${\mu}$$ を実数とすると
$$
\begin{align*}
\mathbf{a} + \mathbf{b} &= \mathbf{b} + \mathbf{a}\\
(\mathbf{a} + \mathbf{b}) + \mathbf{c} &= \mathbf{a} + (\mathbf{b} + \mathbf{c})\\
\mathbf{a} + \mathbf{0} &= \mathbf{a}\\
\mathbf{a} + \mathbf{a'} &= \mathbf{0}\\
(\lambda \mu)\mathbf{a} &= \lambda(\mu \mathbf{a})\\
(\lambda + \mu)\mathbf{a} &= \lambda \mathbf{a} + \mu \mathbf{a}\\
\lambda(\mathbf{a} + \mathbf{b}) &= \lambda\mathbf{a} + \lambda \mathbf{b}\\
1 \mathbf{a} &= \mathbf{a}
\end{align*}
$$
多項式の集合は、この公理を満たすが、指数関数は、0が存在しないので、ベクトルではない。
この公理は、「次元という概念が定義できる最小の枠組み」 が定義されている。
2. 線形性から行列に変換できる
関数が線形性を満たす時、行列の積の定義を使って、関数を行列に変換する。
このとき、行列の積の定義から、ベクトルを
列ベクトル(n 行 1 列 行列の別名)と表すのか
行ベクトル(1 行 n 列 行列の別名)と表すのか
どちらかを宣言する必要がある (行列に変換するためのマントラ)。
例として、2次元のベクトル $${\lambda\mathbf{a} + \mu \mathbf{b}}$$ が一意で表されるとし、関数 f が線形性を持つとすると、
ベクトルを列ベクトルとして表す場合、
$$
\begin{align*}
f(\lambda\mathbf{a} + \mu\mathbf{b})
&= f(\lambda\mathbf{a}) + f(\mu\mathbf{b}) \quad - ①\\
&= \lambda f(\mathbf{a}) + \mu f(\mathbf{b}) \quad - ② \\
&= \begin{pmatrix}f(\mathbf{a}) & f(\mathbf{b})
\end{pmatrix}
\begin{pmatrix}
\lambda \\
\mu \\
\end{pmatrix} \quad - ③
\end{align*}
$$
① - 加法性から分割
② - 斉次性から係数を取り出し
③ - 行列の積の定義を使って、行列に変換
まとめ
線形とは、関数を行列に変換できること
関数から行列に変換する際、マントラが唱えられる理由は、行列の積の定義による要請
列ベクトルや行ベクトルは、行列のエイリアス(別名)
行列はその形や性質に応じて、各種のエイリアスを持つ。
単位行列、三角行列、対称行列など。