GLMをもう少し理解したい③
前回の記事において、GLMでは以下の方程式を用いてパラメータベクトルを推定するという話をしました:
今回はその続きです。
※ 1/25 記事を修正しました
最尤推定
上の式には情報行列の逆行列が入っているので、前から情報行列を乗じます:
ところで、(ここもまた天下りですが)スコアは以下の式で表されますが*1、
はスコアの分散共分散行列であり、上記の式から
となり、さらにから以下のようになります:
これを行列で表記すると:
となります。ただしは
となる対角行列です。よって冒頭の式(1)の左辺はと書けます。
次に右辺ですが、式(2)から以下のように書けます:
このとき1項目と2項目をでくくり、残りをとすると
が得られます。これは線形モデルに対する重み付き最小二乗法を適用して得られる正規方程式と同じ形となりますが、やはに依存するため、反復的に解く必要があります。
なおでくくる際、を使っているため二項目にはこの逆数であるが残り、にはそれが渡ります。すなわち:
です。
※ 以下のセクションでとの関係を取り違えて説明していたので修正しました
さて、このに含まれるはどのような形になるでしょうか?GLMにおいては線形予測子をリンク関数で変換したもの線形予測子で説明されるもので、はそれを逆リンク関数で変換したものでした。つまり、
という関係であることを思い出すと、は分析者が事前に設定したリンク関数に依存することになります。例えばリンク関数としてlogを指定していれば、
となります。identityなら1になるでしょう。
同様にに含まれるは、がであることから逆リンク関数に依存します。例えば逆リンク関数がexpなら
となるでしょう。
以上から、、、が分かればを更新することができ、またそれぞれについても具体的に計算できそうです。GLMではこの反復重み付き最小二乗法(IRLS, Iteratively Reweighted Least Squares)によって最尤推定量を求めます。
それでは次回は、具体的な数値を使って計算してみましょう。
*1:Dobsonの式(4.18)より。この式の導出がちょっと煩雑だったので割愛。