【因子分析】 因子負荷推定の最小二乗法について
こんにちは、Aska Intelligenceの川本です。
因子分析（Factor Analysis）において因子負荷の初期解を求めるのに、最小二乗法というものがあります。
最尤法よりも数値解法的に扱いやすいのがメリットとされています。
最小二乗法は最尤法の"進化版"
最小二乗法と聞くと、最尤推定が開発される前に提案された古い方法という印象があるかもしれませんが、Jöreskogらの最小二乗法 [Jöreskog&Goldberger (1972)] が提案されたのは最尤法が登場した後です。Jöreskogらは、最尤法の近似として最小二乗法を提案しているのです。著者たちは最小二乗法が最尤法の特徴を漸近的に保持していることを強調しています。
最小二乗法にはいくつかバリエーションがあり、Jöreskogらの最小二乗法より素朴な最小二乗法（重みなしの最小二乗法）もあります。こちらの初出は分からないので（1950年代の書籍が引用されていたりします）、もしかしたらこれは最尤法より古いかもしれません。ただし最尤法も[Lawley (1940)]が初出で、かなり初期からあります。
最小二乗法は尺度不変性がない？
素朴な最小二乗法は、尺度不変性がないのが欠点と言われています。つまり、尺度を変える（データの単位を変える）と解が変わってしまうということです。
しかしJöreskogらの最小二乗法は尺度不変性があります。これも手法のメリットとして論文中で強調されています。
Jöreskogらの最小二乗法の後に提案された最小二乗法もあります。SPSSやSASではどの手法が実装されているのかは分からないので、重みなしの最小二乗法が実装されていれば、尺度不変性がないという指摘は正しいです。ただこれは、最小二乗法が本質的に持つ欠点というわけではないというメッセージは重要です。
Jöreskogらの最小二乗法についての詳しい説明は、下のZennの本にありますで、よかったら読んでみてください。
因子得点の最小二乗法
（因子負荷ではなく）因子得点の方の推定にも、最小二乗法とか回帰法（もしくはトムソンの方法・サーストンの方法）と呼ばれる手法があります。これは1930年代に提案されているのですごく古いです。これも導出が書いてある文献が本当に少ないですが、下のZennの本には導出を書いています。
因子分析についての入門資料はウェブ上に膨大にありますし、入門書やセミナーもたくさんありますが、ちゃんと数式を使って中身を説明したものはあまりないので、「ちゃんと公式を導出して理解する本」をZennで書きました。