ペケとジマの線形代数+ #7 ベクトルや行列での微分

コジ

2024年12月31日 23:44

登場人物

ペケ(聞き手)
理系，学部3年．
工学系の院試を控えている．

ジマ(話し手)
文系，ペケの先輩．
口が悪い．

ジマ：ペケくぅン．行列のスカラーでの微分を説明できるー？

ペケ：行列の線形性と微分の定義式から，

$$
\begin{aligned}
A'(x)
&=\lim_{h\rightarrow0}\frac{A(x+h)-A(x)}{h}\\
&=\lim_{h\rightarrow0}\frac{\big(a_{ij}(x+h)\big)_{m\times n}-\big(a_{ij}(x)\big)_{m\times n}}{h}\\
&=\lim_{h\rightarrow0}\frac{\big(a_{ij}(x+h)-a_{ij}(x)\big)_{m\times n}}{h}\\
&=\lim_{h\rightarrow0}\left(\frac{a_{ij}(x+h)-a_{ij}(x)}{h}\right)_{m\times n}\\
&=\left(\lim_{h\rightarrow0}\frac{a_{ij}(x+h)-a_{ij}(x)}{h}\right)_{m\times n}\\
&=\left(a_{ij}'\right)_{m\times n}\\
\end{aligned}
$$

という風に，各成分の微分になるんですか．

ジマ：Soーー．これを拡張して，
$${\bm x\in\mathbb C^{m},\bm y\in\mathbb C^{n}}$$として，ベクトルのベクトル微分を次で定義するよォー．

$$
\begin{aligned}
\frac{\mathrm d\bm y}{\mathrm d\bm x}
&:=\left(\frac{\mathrm d y_j}{\mathrm d x_i}\right)_{m\times n}\\
&=\begin{pmatrix}
\frac{\mathrm d y_1}{\mathrm d x_1}&\cdots&\frac{\mathrm d y_n}{\mathrm d x_1}\\
\vdots&\ddots&\vdots\\
\frac{\mathrm d y_1}{\mathrm d x_m}&\cdots&\frac{\mathrm d y_n}{\mathrm d x_m}\\
\end{pmatrix}
\end{aligned}
$$

ペケ：へー．こう定義すると，全微分を

$$
\begin{aligned}
\mathrm d y
=\sum_{i=1}^n\frac{\partial y}{\partial x_i}\mathrm d x_i
=\left(\frac{\partial y}{\partial \bm x}\right)^\top\mathrm d \bm x
\end{aligned}
$$

と，内積のようにラクに見やすく書けますもんね．

ジマ：$${X\in\mathbb C^{m\times n}}$$として，スカラーの行列微分も定義できるNe～～．

$$
\begin{aligned}
\frac{\mathrm d y}{\mathrm d X}
&:=\left(\frac{\mathrm d y}{\mathrm d x_{ij}}\right)_{m\times n}\\
&=\begin{pmatrix}
\frac{\mathrm d y}{\mathrm d x_{11}}&\cdots&\frac{\mathrm d y}{\mathrm d x_{1n}}\\
\vdots&\ddots&\vdots\\
\frac{\mathrm d y}{\mathrm d x_{m1}}&\cdots&\frac{\mathrm d y}{\mathrm d x_{mn}}\\
\end{pmatrix}
\end{aligned}
$$

ペケ：$${X=(\bm x_1 \ \cdots \ \bm x_n)}$$とおくと，$${\mathrm d y/\mathrm d X}$$は$${\mathrm d y/\mathrm d \bm x_j}$$を並べたものとも解釈できますね．

ところで，これらに関する公式とかってあるんスかね？

ジマ：なんぼでもあるけど，とりあえず二次形式$${\bm x^\top A\bm x}$$を$${\bm x}$$で偏微分してみろ．

ペケ：スカラーをベクトルで微分してるから，結果の第$${i}$$成分は，

$$
\begin{aligned}
\frac{\partial }{\partial x_i}\bm x^\top A\bm x
&=\frac{\partial }{\partial x_i}\sum_{j=1}^n\sum_{k=1}^nx_ja_{jk}x_k\\
&=\sum_{j=1}^n\sum_{k=1}^na_{jk}\frac{\partial }{\partial x_i}(x_jx_k)\\
&=\sum_{j=1}^n\sum_{k=1}^na_{jk}\left(\frac{\partial x_j}{\partial x_i}x_k+x_j\frac{\partial x_k}{\partial x_i}\right)\\
&=\sum_{j=1}^n\sum_{k=1}^na_{jk}\left(\delta_{ji}x_k+x_j\delta_{ki}\right)\\
&=\sum_{k=1}^n\sum_{j=1}^na_{jk}\delta_{ji}x_k+\sum_{j=1}^n\sum_{k=1}^na_{jk}x_j\delta_{ki}\\
&=\sum_{k=1}^na_{ik}x_k+\sum_{j=1}^na_{ji}x_j\\
\end{aligned}
$$

より，

$$
\begin{aligned}
\frac{\partial (\bm x^\top A\bm x)}{\partial \bm x}
&=A\bm x+A^\top\bm x\\
&=(A+A^\top)\bm x
\end{aligned}
$$

となるんですね．