Stanで構造方程式モデリングをやってみた

 

この記事は、Stan advent calendarの16日目の記事です。

Stan楽しんでますか?楽しいですね。今回は構造方程式モデリングをベイズ推定するぞ☆という話です。

 

潜在変数を推定する

さて、僕は心理学を専門としているのですが、心理学では心を潜在変数としてい推定する、ということをやります。よく心理尺度とかで、「私は~だと思う」という質問に「あてはまる」「あてはまらない」とかいう回答を選択させるやつありますよね。あれは、ひとつの項目で何か心がわかると思って使ってるわけじゃないのです。複数の項目に答えてもらって、その共通要素を推定しようとしています。

心理学では、心の状態→行動という仮定をおくので、もしよく似た複数の質問に対して一貫した意見を回答しているならば、そこには目に見えない心の状態(たとえば社会的態度)を持っていると仮定して、その得点を推定したりするのです。これを可能にする方法として因子分析とか構造方程式モデリングとかが考案されています。

 

構造方程式モデリングとは・・・確認的因子分析を例に

今回はタイトルにあるように、構造方程式モデリングをStanでやりたいわけですが、構造方程式モデリングについて簡単に説明します。

一番簡単な構造方程式モデリングは、確認的因子分析と呼ばれる方法です。

had2stan1

上の図のように、観測変数x1~x3、y1~y3で測定された潜在変数F1、F2を推定して、またその潜在変数同士の相関も推定するというモデルです。以降、観測変数を項目、潜在変数を因子と呼びます。どの項目がどの因子を測定しているかが決まってるので、確認的因子分析と呼ばれます。

確認的因子分析の確率モデルは、各項目が正規分布に従い、さらに因子F1、F2が標準多変量正規分布に従うことを仮定します。

had2stan3

このとき、μは平均、λは因子負荷量、ψは項目の誤差分散、Φは因子の共分散(相関)行列です。

さて、構造方程式モデリングは、一般的なモデリングを行うため、に因子得点を直接推定せず、積分消去します。すると、確率モデルは観測変数の多変量正規分布になります。

had2stan5

大文字のXは項目x1~x3と項目y1~y3を全部含んだ観測変数全部だと思ってください。またΜは平均値μを要素として持つ平均ベクトルで、Σは、観測変数である各項目の「モデル上での共分散行列」です。

そして、モデル上での共分散行列を上記のパラメータで表現しなおすと次のようになります。

had2stan4

ここで、Λは因子負荷行列(λを行列に並べたもの)、Φは因子間相関行列、Ψは誤差分散を対角項においた対角行列です。このように、共分散行列を因子負荷量、誤差分散、因子間相関というパラメータで表現したものを共分散構造と呼びます。構造方程式モデリングがもともと共分散構造分析と呼ばれたのは、ここからきているわけです。

 

Stanで確認的因子分析

これをStanで書いてみましょう。

 

ここで注意が必要なのは、潜在変数を使うモデルでは、因子得点の符号について不定性があります。なので、初期値を与えずに普通に推定すると、因子負荷量があるチェインは正に、別のチェインは負に推定されて、事後分布が双峰になってしまいます。

よって、まずは最尤法か何かで因子負荷量を推定して、その符号に合わせて初期値を1、‐1とかでもいいのでいれておくと安定します。

あと、Linputというのは、因子負荷行列のなかでどれが自由パラメータ(推定する因子負荷量)かを識別するためのものです。項目数×潜在因子数の行列を入れます。ここでは、自由パラメータの場合は999、推定しない場合は0を入力しています。

Rコードは以下です。

 

真値は、因子間相関が0.5、因子負荷量が全部0.8のモデルです。Nは200です。

結果はこんな感じでうまく推定されました。lambdaが因子負荷量、phiが因子間相関行列、psyが各変数の誤差分散です。

 

因子間の因果関係を考える

 構造方程式モデルは、観測変数だけでなく、因子同士の因果関係も推定できます。例えば次のようなモデルです。

had2stan6

このようなモデルでも、観測変数について多変量正規分布を仮定する点は同じです。つまり、

had2stan5

 です。しかし、一般的な構造方程式モデリングの場合、平均構造および共分散構造は次のようになります(なお、ここではRAM形式で書いてます)。

had2stan9

ここで、Gは因子と項目を識別するための選択行列で、項目数×(項目数+因子数)の行列で、左側から因子数分の列ベクトルはすべて要素が0で、残りは単位行列であるような行列です。次のような感じの行列です。

 had2stan14

Iは単位行列、Λはパスおよび因子負荷量を表す影響力行列、Ψは分散と共分散を含むパラメータを行列にしたものです。A(alphaの大文字)は切片パラメータベクトルです。

ただし、今回のモデルを識別させるためには、因子の尺度の不定性を回避するために、因子の分散を1に固定するか、各因子の因子負荷量を1つだけ1に固定するかのどちらかの制約を与える必要があります。ここではx1、y1、z1の因子負荷量を1に固定するにします。

これをStanで書いてみましょう。

ただし、今回もいろいろ外部から推定するパラメータかどうかを識別するためのinputが必要なので、ちょっとStanコード的にはわかりづらくなっていると思います。

 

続いてRコードは以下です。

 

CFAと同様、自由パラメータか否かを識別するinputを用意します。今回も自由パラメータの場合は999をいれますが、固定パラメータの場合は固定したい数字を入れるようにしています。影響力を表す(いわゆるパス)行列はLinput、分散共分散を表す行列はPinputとしています。また、平均についてもAinputを用意いします。

たとえばLinputは次ような感じになります。わかりやすさのために変数名を入れてますが、R上では数字のところだけを入力します。csvファイルでいれても、クリップボードから入れてもいいと思います。

had2stan10

つぎにPinputです。

had2stan11

最後にAinput。

had2stan12

結果は次のような感じです。

 

わかりづらいと思うので、パス図で書いてみました。

had2stan13

一応最尤法の結果を比較したら、ほとんど同じ結果でした。

 

さらなる一般化に向けて・・・おまけ

最後はかなり複雑な話なのでおまけレベルで見てもらえれば。

上のコードでもいくつか不十分な点があります。

1.共分散行列が正定値でなくなってサンプリングがとまる
2.母数の等値制約ができない
3.サンプルサイズが大きいと推定がすこぶる遅い

1番目。実は上のコードは少し複雑なモデルになると推定がうまくいかなくなります。それは、モデル上の共分散行列が正定値にならず、逆行列が求められなくなるからです。その原因の多くは、共分散がSDの積よりも大きく推定されてしまうことが問題であることが多いです。そこで、共分散を相関×SD1×SD2に分解して、相関係数が-1~1の範囲を超えないように推定すれば、この問題は解決します。

2番目。構造方程式モデルは自由なモデリングがウリですが、上のコードだとパラメータに等値制約をかけることができません。因子負荷量が全部等しいとか、そういうのができない、というわけです。そこで、自由パラメータを999としてましたが、同じパラメータは同じ数字、違うパラメータは違う数字を入れることで対処してみました。最初は1000から始まって、違うパラメータなら1001、1002と増えていき、同じパラメータは数字が1001で同じ、という感じです。どんどんinput行列の入力が面倒になりますね。

3番目。Stanの多変量正規分布の関数はすこぶる遅いので、サンプルサイズが大きい場合とても遅くなります。そこで、もし欠損値がなければ、構造方程式モデリングの尤度は十分統計量(ここでは平均と共分散行列)からでも計算できることを利用して、少しスピードアップを図ってみましょう。

まず、対数尤度は次の式で直接求まります。

had2stan15

ここで、Σはモデル上の共分散行列、μはモデル上の平均値、Sは標本共分散行列、xバーは標本平均値です。これをStan内で直接書いてtarget +=にいれてやれば、十分統計量だけからパラメータの推定ができます。よって、サンプルサイズが大きくてもほとんど推定時間には違いがなくなるというわけです(実際は値が大きくなるので時間は増えます)。

Stanコードは以下のようになります。Stanにしてはかなり長いですが、一回コンパイルしてしまえば、構造方程式モデルの範囲なら同じモデルが使いまわせるので、コンパイルレスになります。

 

Rコードは以下です。データは先ほどと同じものを使っています。

 

さて、問題はinput行列を作るが恐ろしく面倒なのです。というわけで普通の利用にはあまり向かないと思うのですが、HADにもSEMの機能があるのでちょっといじってみました。その名もHAD2Stan_SEMです。

HADとはなんぞや?という人はこちらを見てください。

HADではパス図をかいて構造方程式モデルを実行できます。そこで、HADでパス図を描いてもらって、そこから自動的にStanにいれるようのinput行列を自動的に作る、というのをやってみたいと思います。

なお、HAD15.200以上のバージョンじゃないと対応してません。

HADでの構造方程式モデリングの画面

had2stan16

HADでパス図を描いてモデルを作成したら、パス図モードを消します。するとhad2stan17

HAD2Stanというボタンが現れます。これを押すと、次のようなユーザーフォームがでます。ここに、Rの作業ディレクトリ(Rstudioを使ってる人なら、プロジェクトがあるフォルダ)を指定します。あと、データのファイル名も指定しておきます。

 had2stan20

あとはOKを押すと、自動的にLinput.csv, Pinput.csv, Ainput.csv、そしてデータファイルが作業ディレクトリに保存されます。あとは、上のRコードを走らせれば、Stanが推定してくれるという仕組みです。

またStanで出力されたパラメータがどのパスなのかがわかりにくいと思います。そこで上のユーザーフォームでOKを押すと、次のようなシートが出力されてどのパラメータがモデルのどこに該当しているのかがすぐわかるようになります。

had2stan21

長くなりましたが、これである程度はStanで構造方程式モデリングが楽しめるかなと思います。

Enjoy, Stan!!

 

 

 

 

 

 

This entry was posted in 心理統計学, Stan. Bookmark the permalink.