Create  Edit  Diff  ホーム  Index  Search  Changes  History  Source  RSS  wikifarm  Login

Pr.Cov.2

分散行列

前節までは、2 つの確率変数 X, Y について、 「X がでかいと Y もでかい(あるいは逆に小さい)」のような傾向を議論しました。 この議論を、例えば 4 つの確率変数 X, Y, Z, W に拡張しようと思ったら どうしたらいいか。 これが本節のテーマです (……と言いながら、途中から意外な方向へ話が展開します)。

分散と共分散の一覧表

例えば、4 つの確率変数 X, Y, Z, W があるとしましょう。 これらについて、「○がでかいと□もでかい(あるいは逆に小さい)」のような 傾向を調べ出すにはどうするか。

一番素朴なのは、「X と Y」や「Y と W」など、あらゆるペアについて 共分散 Cov[○, □] を計算して、一覧表にすることでしょう。

(一覧表)

表の右上と左下とが対称なのは、Cov[○, □] = Cov[□, ○] だからです。 対角線が抜けているのは、同じものどうしの Cov[○, ○] は「共分散」と ふつう呼ばないからです。

とはいえ、Cov[○, ○] は分散 V[○] に一致するわけで、 V[○] もそれはそれで有益な情報です。 せっかくだから、いっしょに記入してしまいましょう。

(一覧表)

この表で、対角線上は分散、それ以外は共分散です。 分散と共分散の定義からも、こんな配置でまとめて書き込むのが 自然なことは、同意いただけると思います。

では、この表を詳細に見て、どれとどれがどんな傾向か 地道に調べていきま……せん。 当初はそんな方向の話でしたが、 それは導入のためのはったりでした(ごめんなさい。もうしません)。 本節の興味は、実はそんな地味な話ではありません。 というわけで、ここから、もっとおもしろい方向に舵を切ります。

表中の個々の数値にとらわれるよりも、全体として結局どんな絵になっているのか 調べたい、という俯瞰的な観点で次項からは進んでいきます。 そのためのブレークスルーが、「この一覧表を行列とみなすこと」です。

\memo{「俯瞰的」もちょっと意味違うよな…}

行列としての表現

いま書いた表を行列とみなしたものを、 「分散行列」と呼びます。 人によって、「共分散行列」と呼んだり「分散共分散行列」と呼んだりもします。

呼び方はともかく、n 個の確率変数 X_1, X_2, …, X_n があったら、 それらの分散行列は n×n の正方行列になります。 分散行列の (i, j) 成分は、

  • i = j (対角成分)なら分散 V[X_i]、
  • i ≠ j (非対角成分)なら共分散 Cov[X_i, X_j]

です。 このことから、

  • 分散行列は対称行列
  • 分散行列の対角成分はどれも ≧ 0

がひとめでわかります。 ぴんとこなければ分散・共分散の定義を復習してください。

\memo{非負定値はどこで言う?}

これだけだと、まだ「行列だ」と宣言したにすぎず、うれしさはわかりません。 行列に話をもってくる狙いは、確率変数たちを並べて、一本のベクトルにまとめて 扱うことにあります。 X_1, X_2, …, X_n を縦に並べてできる縦ベクトルを、X としましょう。

X を使えば、 分散行列を、ベクトル・行列の式としてまとめて書くことができます。

V[X] = E[(X - μ) (X - μ)^T]  ただし μ = E[X]

記号が同じになってしまいましたが、左辺は分散ではなく分散行列です (X がベクトルのときは、V[X] と書いたら分散行列という約束にします)。

(なぜこの式でいいか説明)

以上のように、ベクトルや行列を活用すれば分散行列をひとまとめに書けることを、 本項では述べました。 ただし、行列に話をもってきたことの真価は、 そんなけちな「紙とインクの節約」ではなくて、まだ先にあります。 行列からもうひとがんばりすれば、成分の呪縛を脱して、 図形的な解釈が可能になる。 そちらの方が真骨頂です。

具体的には、都合のいい座標系を自在に選ぶことで、 どんなぐちゃぐちゃな分散行列でも単純明解な格好に変換することができます。 ここからはその話へつながります。

変数変換

いまの先走りで触れたように、「単純明解な格好への変換」がここからの 大目標です。 そのための手段として、変数変換を押さえておかないといけません。

(まだ)

V[u^T X] = u^T V[X] u とか

V[A X] = A V[X] A^T とか

反変 2 階をほのめかすのは, さすがに付録か.

任意方向のばらつき具合

「どんなぐちゃぐちゃな分散行列でも単純明解な格好に変換して、 図形的イメージをつかむ」 という大目標に対し、現在地点は登山道入口。 ここでちょっと一服です。

分散・共分散の話を行列へ移したことのうれしさを、 本節の最後に一つお見せしましょう。 分散行列の真価をじっくり味わうのは次節からですが、 その前に軽く一端を味見してください。 これは、次節のネタへのとっかかりとなる話題でもあります。

分散行列の対角成分には、各成分の分散 V[X_1], V[X_2], …, V[X_n] が並んで いるのでした。 次の図(n = 2 の例)で言えば、 V[X_1] は「横方向のばらつき具合」、 V[X_2] は「縦方向のばらつき具合」ということになります。 この例だと V[X_1] > V[X_2] で、横の方が縦より広くばらついています。

(2 次元の散布図と, 縦横への射影. 不定形な感じであんまり露骨に主軸が見えない方がよかろう)

そんな調子で、分散行列から、「各座標軸の方向のばらつき具合」を知ることが できます。 でも、もっと半端な、斜め方向のばらつき具合を 知りたければ? --- 実は、それも分散行列から求めることができます。 分散行列には、座標軸の方向だけでなく、あらゆる方向のばらつき具合が 情報として含まれているのです。 このことを納得するためには、分散行列を「一覧表」でなく「行列」として 扱うのが近道です。

では、ひとまず分散行列は置いといて、指定方向のばらつき具合を素朴に 求めてみましょう。 方向は、長さが 1 のベクトル u を使って指定することにします。 この u は、ゆらがないふつうのベクトルです。

(図)

やりたいことをかみくだいて言えば、こうなります。 ゆらぐベクトル X を図のように u 方向へ射影して、 直線上の位置を Z とします。 Z は原点から測った影の長さで、u と同じ向きは正、u と逆の向きは負と しておきます。 X がゆらぐベクトルなので、Z はゆらぐ数(実数値の確率変数)になります。 こうしてできた Z に対して、その分散 V[Z] が求めたい。

特別な場合として、

  • u = (1,0,0,0,…,0)^T のときは、Z = X_1 → V[Z] = V[X_1]
  • u = (0,1,0,0,…,0)^T のときは、Z = X_2 → V[Z] = V[X_2]

のようになっています。二次元での例は前に示しました。

では、斜めの u については? --- そんなときでも、

Z = u^T X

で X から Z が求められます。ですから、問題は

長さが 1 の指定されたベクトル u に対して、V[u^T X] を求めよ

ということになります。

\memo{なぜ Z = u^T X かの説明もいりそう}

この変換則は前項でやりました。

V[u^T X] = u^T V[X] u

が答です。確かに、分散行列 V[X] から「任意の方向 u のばらつき具合」を 計算することができました。

以上が、「分散行列 V[X] にはあらゆる方向のばらつき具合が 情報として含まれている」の種明しです。 表面上は「各成分の分散・共分散を並べた一覧」にすぎなくても、 実はもっと汎用的な情報を分散行列は持っているのです。


コメントはプログラミングのための確率統計


Last modified:2006/09/06 22:50:23
Keyword(s):
References:[Pr.Cont.A] [Pr.Cov]