Create  Edit  Diff  ホーム  Index  Search  Changes  History  Source  RSS  wikifarm  Login

Pr.Multi.5

独立性

複数の確率変数があったとき、最初に気になるのは、 「それらのあいだに関連があるのかないのか」でしょう。 これを確率分布から調べるのが、本節のテーマです。

「独立」の定義

また、前の例4:よりぬきトランプ(色と絵札)を最初の題材にします。 同時分布はこうでした。

W = 数札W = 絵札
Z = 赤10/396/39
Z = 黒20/393/39

この例について、「絵札なら勝ち」というゲームをしているのなら、 赤がちらっと見えたら喜ぶべきだし、 黒がちらっと見えたら悲しむべき、と前節で述べました。

  • P(W = 絵札 | Z = 赤) は 6/16 = 3/8 = 0.375 もある
  • P(W = 絵札 | Z = 黒) は 3/23 \approx 0.130 しかない

これはいかにも、Z(色)と W(絵札か数札か)とに関連があると言えるでしょう。 Z しだいで、W の条件つき分布が違ってくるからです。

multi_ex2.png

一方、トランプ全 52 枚からダイヤ 13 枚を除いた残り 39 枚を使った場合には、 同時分布はこうなります。

W = 数札W = 絵札
Z = 赤10/393/39
Z = 黒20/396/39

この場合だと、赤や黒がちらっと見えても、 喜んだり悲しんだりする理由はありません。

  • P(W = 絵札 | Z = 赤) = 3/13
  • P(W = 絵札 | Z = 黒) = 6/26 = 3/13

で、条件つき分布に違いはないから です*1。 こんなふうに、Z の値が何であっても W の条件つき分布が同じだったら、 W は Z と関連がないと言っていいでしょう。

multi_ex4.png

関連がないことを、きちんとした用語では「独立」と呼びます。

P(X = a | Y = b) が b に依存しないとき、確率変数 X と Y は独立であるという。

くどく言い直せば、

P(X = a | Y = b) = P(X = a | Y = b') が常に(どんな a, b, b' でも)成り立つとき、
確率変数 X と Y は独立であるという。

独立でないときは、「X と Y は従属である」と言ったり、 そのまま「独立でない」と言ったりします。

【FAQ】 「X は Y から独立」と言う方が適切じゃないですか? 「X と Y が独立」という言い回しでは、 「X は Y から独立」なのか「Y は X から独立」なのか、ごっちゃになりそうです。

→ 区別する必要はありません。 「X が Y から独立」なら、「Y は X から独立」も自動的に成立するからです。 詳しくは、次項の「言いかえ」で。 【FAQ 終】

【FAQ】 「独立か否か」というall or nothingじゃなくて、 「そこそこ独立」とか「めちゃめちゃ従属」とかいうように、 関連性の強弱を測ることはできませんか? 例4:よりぬきトランプ(色と絵札)なら、 Z(赤か黒か)を見ても W(数札か絵札か)の条件つき確率が若干違ってくるだけです。 一方、例6:三つの扉だと、例えば司会者が Z = アの扉を開いて見せた時点で、 正解 X = アはないと100%保証されます。 前者より後者の方が「強く」関連しているのではありませんか?

→ 後の章ででてくる「相関係数」や「相互情報量」を使えば、 関連の強さを定量的に測ることができます。 【FAQ 終】

「独立」の言いかえ

「独立」の定義は、いろいろ言いかえられます。 確率に基いて何かを論じるためには、 独立性は大切な基礎概念ですから、 どの言い方でもぴんとくるようになってください。

確率変数 X と Y について、以下はすべて同じことです:

(ア)確率変数 X と Y が独立
(イ)P(X = a | Y = b) が b に依存しない
(ウ)P(X = a | Y = b) = P(X = a) が常に(どんな a, b でも)成立
(エ)P(X = a, Y = b) : P(X = a', Y = b) = P(X = a, Y = b') : P(X = a', Y = b') が常に(どんな a, a', b, b' でも)成立
(オ)P(X = a, Y = b) = P(X = a) P(Y = b) が常に(どんな a, b でも)成立

さらに、X と Y の役割を入れかえたものも、これらと等価です。

(イ')P(Y = b | X = a) が a に依存しない
(ウ')P(Y = b | X = a) = P(Y = b) が常に(どんな a, b でも)成立
(エ')P(X = a, Y = b) : P(X = a, Y = b') = P(X = a', Y = b) : P(X = a', Y = b') が常に(どんな a, a', b, b' でも)成立

一つずつ見ていきましょう。

本書の話の順序では、まず(イ)のことを独立という約束にしました。 だから、(ア)と(イ)は自動的に等価です。 典型例は、こんな同時分布。 前の例から記号をあわせただけのものです(W → X, Z → Y)。

X = 数札X = 絵札
Y = 赤10/393/39
Y = 黒20/396/39
P(X = 数札 | Y = 赤) : P(X = 絵札 | Y = 赤) = 10/39 : 3/39 = 10 : 3
  → P(X = 絵札 | Y = 赤) = 3/13
P(X = 数札 | Y = 黒) : P(X = 絵札 | Y = 黒) = 20/39 : 6/39 = 10 : 3
  → P(X = 絵札 | Y = 黒) = 3/13

という調子で、(イ)が成り立っています。 前にも述べたとおり、「絵札なら勝ち」だとして、

赤がちらっと見えても黒がちらっと見えても、どちらでも別にうれしさは変わらないよ

という話が(イ)でした。

次に、(ウ)を見てください。 (ウ)は、前の例で言えば、

赤や黒がちらっと見えても、'見える前とくらべて'、別にうれしさは変わらないよ

という話です。こんなときも、「関連がない」と言ってよさそうな気がしますね。 上の例でも、

P(X = 絵札) = 3/39 + 6/39 = 9/39 = 3/13

という調子で、(ウ)が成り立っています。 ……では、(イ)と(ウ)が等価なことを示しましょう。 「(ウ)ならば(イ)」は当然ですから、あとは「(イ)ならば(ウ)」の方を 示せばよい。 いま、(イ)が成り立っているなら、b を含まないある関数 f を使って

P(X = a | Y = b) = f(a)

と書けるはずです。この f を使って、P(X = a) を表してみましょう。

P(X = a) = Σ_b P(X = a, Y = b)

という周辺確率の性質を思い出してください (Σ_b は、「Y のとり得るすべての値 b について足す」とします)。 さらに、同時確率は

P(X = a, Y = b) = P(X = a | Y = b) P(Y = b) = f(a) P(Y = b)

と書けました。さっきの式に代入すれば、

P(X = a) = Σ_b f(a) P(Y = b)

となります。ここで、f(a) は b を含みませんから、Σ_b の前に出すことができます。 \memo{Σの基本を付録に入れる必要ありそう} すると、

P(X = a) = f(a) Σ_b P(Y = b) = f(a)

が得られます。確率を合計すれば 1 のはず(Σ_b P(Y = b) = 1)だからです。 f(a) というのは P(X = a | Y = b) だったのですから、 これで確かに(ウ)が保証されました。

multi_ex4.png

続けて、(エ)です。 式で見ると目がちかちかしますが、同時分布の表で見れば何てことありません。 先ほどの同時分布の例を、また見てみましょう。

X = 数札X = 絵札
Y = 赤10/393/39
Y = 黒20/396/39

(エ)が言っているのは、

P(X = 数札, Y = 赤) : P(X = 絵札, Y = 赤) = P(X = 数札, Y = 黒) : P(X = 絵札, Y = 黒)

すなわち、

10/39 : 3/39 = 20/39 : 6/39

ということ。確かに、両辺どちらも要は 10 : 3 なので、成立しています。 言葉で言えば、

「Y = 赤」の行でも、「Y = 黒」の行でも、「X = 数札」と「X = 絵札」との比率は変わらない

同時分布の表を見て独立か否かを読みとるためには、(エ)が便利です。 ……なんだか、条件つき確率のイントロを思い出しませんか? 実際、

P(X = 数札, Y = 赤) : P(X = 絵札, Y = 赤) = P(X = 数札 | Y = 赤) : P(X = 絵札 | Y = 赤)
P(X = 数札, Y = 黒) : P(X = 絵札, Y = 黒) = P(X = 数札 | Y = 黒) : P(X = 絵札 | Y = 黒)

が必ず成り立ちます。理由は、例えば

P(X = 数札, Y = 赤) = P(X = 数札 | Y = 赤) P(Y = 赤)
P(X = 絵札, Y = 赤) = P(X = 絵札 | Y = 赤) P(Y = 赤)

だから。つまり、

P(X = 数札 | Y = 赤) : P(X = 絵札 | Y = 赤)

の左右に同じ値 P(Y = 赤) をかけたのが

P(X = 数札, Y = 赤) : P(X = 絵札, Y = 赤)

なのですから、比としては変わりません。 そういうわけで、(エ)は

P(X = 数札 | Y = 赤) : P(X = 絵札 | Y = 赤) = P(X = 数札 | Y = 黒) : P(X = 絵札 | Y = 黒)

と等価です。ところが、左辺についても右辺についても、それぞれ値の合計は

P(X = 数札 | Y = 赤) + P(X = 絵札 | Y = 赤) = 1
P(X = 数札 | Y = 黒) + P(X = 絵札 | Y = 黒) = 1

で同じだから、この場合は、「比が等しい」は「値そのものが等しい」を 意味します*2

P(X = 数札 | Y = 赤) = P(X = 数札 | Y = 黒)
P(X = 絵札 | Y = 赤) = P(X = 絵札 | Y = 黒)

これは正に(イ)のことです。 こうして、(エ)は(イ)と等価なことがわかりました。 とり得る値が 3 種類以上のときも同様です。もし同時分布が

X = アX = イX = ウ
Y = 壱1/482/483/48
Y = 弐2/484/486/48
Y = 参5/4810/4815/48

だったら、

  • 「Y = 壱」の行 → 1/48 : 2/48 : 3/48 = 1 : 2 : 3
  • 「Y = 弐」の行 → 2/48 : 4/48 : 6/48 = 1 : 2 : 3
  • 「Y = 参」の行 → 5/48 : 10/48 : 15/48 = 1 : 2 : 3

で、どの行でも同じ 1 : 2 : 3 の比率だから、X と Y は独立です。

さて、やっと(オ)まで来ました。 (イ)(ウ)(エ)と比べてぴんときにくいかもしれませんが、 数式上の使い勝手は(オ)が一番。 実を言うと、数学では(オ)を「独立」の定義とするのがふつうです。 とりあえず、いつもの同時分布で確認してみましょう。

X = 数札X = 絵札
Y = 赤10/393/39
Y = 黒20/396/39

X の周辺分布は、

P(X = 数札) = 10/39 + 20/39 = 30/39 = 10/13
P(X = 絵札) = 3/39 + 6/39 = 9/39 = 3/13

Y の周辺分布は、

P(Y = 赤) = 10/39 + 3/39 = 13/39 = 1/3
P(Y = 黒) = 20/39 + 6/39 = 26/39 = 2/3

で、確かに、

P(X = 数札, Y = 赤) = (10/13) * (1/3) = 10/39
P(X = 数札, Y = 黒) = (10/13) * (2/3) = 20/39
P(X = 絵札, Y = 赤) = (3/13) * (1/3) = 3/39
P(X = 絵札, Y = 黒) = (3/13) * (2/3) = 6/39

(オ)の主張である P(X = a, Y = b) = P(X = a) P(Y = b) が常に成立しています。 ……では、なぜ(オ)が「独立」を表すのでしょうか。 同時確率に関して、(独立うんぬん関係なく)いつも成り立つ関係は、

P(X = a, Y = b) = P(X = a | Y = b) P(Y = b)

でした。これと(オ)の主張

P(X = a, Y = b) = P(X = a) P(Y = b)

とを見比べれば、(オ)は結局

P(X = a | Y = b) = P(X = a)

を主張していることになります。 つまり、(オ)と(ウ)が等価なのです。 言葉でもう一度おさらいしましょう。 「X(ω) = a かつ Y(ω) = b なωたちの領域の面積」を求めるには、 ふつうは、

  • 「Y(ω) = b なωたちの領域の面積」である P(Y = b) を測る
  • その領域の中で、「X(ω) = a なωたちの割合」が P(X = a | Y = b) だった
  • だから、その積が「X(ω) = a かつ Y(ω) = b なωたちの領域の面積」

としました。 でも、X と Y が独立なときは、 「X(ω) = a なωたちの割合」が Y によらず一定です。 だから、Y の値ごとに違う P(X = a | Y = b) をかけなくても、 全体で共通の「X(ω) = a なωたちの割合」 P(X = a) をかけるだけでよくなります。 逆に、こうなっていれば、「X(ω) = a なωたちの割合」が Y によらず一定 なのも当然。

\memo{神様視点の絵を入れれば、「あたりまえっぷり」が伝わるかなあ}

ここで、(オ)をいま一度よく見てください。 (オ)では、X と Y が全く対等です。 (イ)(ウ)(エ)では X と Y は対等でなく見えますが、 それらも結局は(オ)と等価だったのですから、 実際には対等なはずです。 つまり、X と Y の役割をいれかえても等価なのです。 こうして、 (ア)(イ)(ウ)(エ)(オ)に加えて (イ')(ウ')(エ')も、ぜんぶまとめて等価だと結論されます。

もっとたくさんの変数の独立性(要注意)

ここまでは、二つの確率変数 X と Y との独立性をお話ししてきました。 それがすんだら、当然、もっとたくさんの確率変数の独立性へと 定義を拡張したくなります。 ただ、そのときにちょっと直感の効きにくい現象がありますので、 最初にそんな教訓的な例を調べます。

次のように書いた4枚のカードを用意します。

  • ○××
  • ×○×
  • ××○
  • ○○○

これを十分シャッフルして一枚引き、 最初の記号を X、次の記号を Y、最後の記号を Z としましょう。 例えば、引いたカードが「○××」だったら、

X = ○,  Y = ×,  Z = ×

ということです。 X も Y も Z も、それぞれ○か×かの値をとる確率変数になります。

X と Y とが独立なことは、一目でわかるでしょうか。

P(X=○) = P(X=×) = 1/2
P(Y=○) = P(Y=×) = 1/2
P(X=○, Y=○) = P(X=○, Y=×) = P(X=×, Y=○) = P(X=×, Y=×) = 1/4

を確かめても構いませんし、

X = ○ となっている領域だけ見れば、「半分が Y = ○ でもう半分が Y = ×」
X = × となっている領域だけ見ても、「半分が Y = ○ でもう半分が Y = ×」

のようにどちらでも「…」が変わらないから独立だ、と断じても結構です。

multi_tri.png

同様に、 「Y と Z は独立」も確かめられますし、 「Z と X は独立」も確かめられます(各自で試みてください)。 では、「X と Y と Z とは無関係」かといえば、そんなことはありません。 たとえば、「X = × かつ Y = ○ でした」というヒントを教えられたら、 「Z は必ず×だ」と言いあてることができてしまいます。 これは、X, Y, Z の間に何らかの関係があることを意味します。 もし本当に無関係だったら、X と Y を教えてもらっても、 Z を当てるための役にはたたないはずですから。

こうして、注意すべき教訓が得られました。

「X と Y が独立」かつ「Y と Z が独立」かつ「Z と X が独立」だったとしても、
「X と Y と Z とは無関係」とは限らない

そもそも、一般に

P(X = a, Y = b, Z = c) = P(Z = c | X = a, Y = b) P(Y = b | X = a) P(X = a)

のはずでした。これは、独立かどうかにかかわらずいつも成り立つ式です。 ここでもし「X と Y と Z とは無関係」だとしたら、

P(Y = b | X = a) = P(Y = b)
P(Z = c | X = a, Y = b) = P(Z = c)

のはずでしょう。無関係なのですから、他人がどんな値だろうと 自分(の分布)に影響はないはずです。すると、

P(X = a, Y = b, Z = c) = P(X = a) P(Y = b) P(Z = c)

が得られます。

そこで、逆手をとって、

P(X = a, Y = b, Z = c) = P(X = a) P(Y = b) P(Z = c)
(どんな a, b, c でもこれが成り立つ)

となることを「X, Y, Z は独立である」と定義することにします。 四つなら

P(X = a, Y = b, Z = c, W = d) = P(X = a) P(Y = b) P(Z = c) P(W = d)

という調子です。

【演習】 先程の「4枚のカード」の例で、X, Y, Z が独立でないことを確かめよ。

→ たとえば、

P(X = ○, Y = ○, Z = ○) = 1/4

なのに

P(X = ○) P(Y = ○) P(Z = ○) = (1/2) (1/2) (1/2) = 1/8

だから食い違っている (「独立である」を否定するには、「どんな…でも云々」を否定するのだから、 反例を一つ挙げれば十分)。

ちなみに、

P(Z = ○ | X = ○, Y = ○) = 1

であり、これまた

P(Z = ○) = 1/2

と食い違っている。 【演習終】

【演習】 以下はそれぞれ、必ず成立する(○)か、そうとは限らない(×)か? ・X, Y, Z が独立なら P(X = a | Y = b, Z = c) = P(X = a) ・「P(X = a | Y = b, Z = c) = P(X = a) がどんな a, b, c でも成り立つ」なら「X, Y, Z は独立」

→ (まだ) 【演習終】

演習問題

(まだ)


コメントはプログラミングのための確率統計


Last modified:2005/08/19 23:20:04
Keyword(s):
References:[Pr.Multi]

*1 P(W = 数札 | Z = 赤) = 1 - 3/13 = P(W = 数札 | Z = 黒) ももちろん成立しています。

*2 ぴんとこなければ、次のように丁寧に考えてください。比が等しいということは、ある比例係数 c で、P(数|黒) = c P(数|赤)、P(絵|黒) = c P(絵|赤)、となっている。辺々足せば、P(数|黒) + P(絵|黒) = c (P(数|赤) + P(絵|赤))。どちらも和は 1 のはずだから、c = 1。