!!同時確率と周辺確率

では、確率の話に戻りましょう。
ここからは、複数の確率変数をまとめて考えることが主題となります。

おさえるべき話は前の「算数」でほとんど済んでいますから、
当分は、同じ内容を確率の話に翻訳して述べていくだけです
(新しい話が出るのは、「もっとたくさんの変数の独立性」から)。

\memo{例が多すぎか? 「算数」を練習した後なら, 本番はもっとさらっとでもだいじょうぶ?}

!!!例1:トランプ(マークと数) --- 同時確率・周辺確率とは

最初の単純な例として、トランプ 52 枚をよくシャッフルして一枚引き、
そのマークを X、数字を Y とします。
X も Y も、確率変数です。
X は「スペード」「ハート」「クラブ」「ダイヤ」の 4 種類の値をとり、
Y は 1 から 13 までの整数値をとります。
この状況を神様視点で見ると、例えば図のように表すことができます。
「X がダイヤで、かつ Y が 7 になる確率」は 1/52 ですが、これを
 P(X = ダイヤ, Y = 7) = 1/52
のように書き表します。コンマは「かつ」を意味しています。

{{attach_view(multi_ex1.png)}}

こんなふうに、複数の条件を指定して、それらがすべて同時に成り立つ確率のことを、
同時確率(あるいは結合確率)と呼びます。
「どれかが成立」などではなく、すべてが「かつ」で成立しなくてはいけないのを、
よく刻み込んでください。
「同時確率」については、意味も記法も、暗記しておく必要が
あります{{fn('記法については、P(X = a, Y = b) のことを P_{X,Y}(a,b) と書く人もいます。「P_{X,Y}」は「P の右下に X,Y と書く」の意味です。')}}。

同時確率の一覧表は、次のようになります。
前章にならって、同時確率の一覧表は同時分布と呼びます。
話を X と Y だけに限れば、これらの確率に関する情報はすべて同時分布に
含まれています。
|| ||Y = 1||Y = 2||…||Y = 13
||X = スペード||1/52||1/52||…||1/52
||X = ハート||1/52||1/52||…||1/52
||X = クラブ||1/52||1/52||…||1/52
||X = ダイヤ||1/52||1/52||…||1/52

一方、同じ設定で、X 単独や Y 単独の確率も考えることができます。
 P(X = ダイヤ) = 1/4
 P(Y = 7) = 1/13
という調子です。このような単独の確率は、同時確率に対比して「周辺確率」
と呼ばれます。その一覧表が「周辺分布」です。

この節のポイントは、同時確率と周辺確率との関係です。
意味を考えても当然ですし、神様視点の図からも明らかなとおり、
 P(X = ダイヤ) = P(X = ダイヤ, Y = 1) + P(X = ダイヤ, Y = 2) + … + P(X = ダイヤ, Y = 13)
 P(Y = 7) = P(X = スペード, Y = 7) + P(X = ハート, Y = 7) + P(X = クラブ, Y = 7) + P(X = ダイヤ, Y = 7)
となっています。一般には、
 P(X = a) = Σ_{Y のとりうるすべての値 b} P(X = a, Y = b)
 P(Y = b) = Σ_{X のとりうるすべての値 a} P(X = a, Y = b)
ここに、「Σ_{…} □」は、
「……について□を合計せよ」という記号です。

表で言えば、次のとおり。
要するに、「X = ダイヤ」となっているようなすべての組合せの同時確率を
合計したら P(X = ダイヤ) が求められるわけです。
|| ||Y = 1||Y = 2||…||Y = 13|| ||
||X = スペード||1/52||1/52||…||1/52||→合計||P(X = スペード) = 13/52
||X = ハート||1/52||1/52||…||1/52||→合計||P(X = ハート) = 13/52
||X = クラブ||1/52||1/52||…||1/52||→合計||P(X = クラブ) = 13/52
||X = ダイヤ||1/52||1/52||…||1/52||→合計||P(X = ダイヤ) = 13/52
|| ||↓合計||↓合計||…||↓合計|| ||
|| ||P(Y = 1) = 4/52||P(Y = 2) = 4/52||…||P(Y = 13) = 4/52|| ||

前節の「算数」で言えば、X が県、Y が土地の用途に対応します。
面積計算としては、まったくあたりまえの話にすぎません。

【FAQ】
要するに、表を縦横に合計したのが周辺確率、と覚えればいいですか?

→ そんなふうに覚えるのはおすすめしません。
表にもいろいろある(同時確率の一覧表ではないかもしれない)のに、
委細かまわず縦横に合計してしまうまちがった答案が、
ときどき見られるからです。

「X = ダイヤ」となっているようなすべての組合せの'同時確率'を
合計したら P(X = ダイヤ)、という理屈を納得すれば、
わざわざ公式的に「暗記」をしなくても対処できそうに思うのですが。
【FAQ 終】

!!!例2:トランプ(色と数) --- すべての情報が同時分布に

次は、同じ設定ですが、引いたカードの色 Z と数 Y に着目してみましょう。
Z も確率変数で、「赤」「黒」のどちらかの値をとります。

このときも話は前と同様です。神様視点の図を見直してください。
例えば、
 P(Z = 赤, Y = 7) = 2/52 = 1/26
という調子で、Z と Y の同時分布はこうなります。
|| ||Y = 1||Y = 2||…||Y = 13
||Z = 赤||1/26||1/26||…||1/26
||Z = 黒||1/26||1/26||…||1/26

{{attach_view(multi_ex1.png)}}

話を Z と Y だけに限れば、これらの確率に関する情報はすべて同時分布に
含まれています{{fn('あくまで「限れば」です。実際、マーク X のことはこの表だけではわかりません。')}}。
これが言いたくて、この例を出しました。
例えば、
「実は赤にはハートとダイヤの二種類がある」などという知識は忘れ去っても、
Z と Y の同時分布だけあれば、Z や Y の周辺確率は計算できます。
具体的には、先ほどと同じように、
 P(Z = 赤) = P(Z = 赤, Y = 1) + P(Z = 赤, Y = 2) + … + P(Z = 赤, Y = 13)
 P(Y = 7) = P(Z = 赤, Y = 7) + P(Z = 黒, Y = 7)
などです。

!!!例3:よりぬきトランプ(色と数) --- 一様でなくても

今度は、トランプの一部だけ使うことにします。
具体的には、
*スペードの 1 から 13
*ハートの 1 から 13
*クラブの 1 から 10
*ダイヤの 11 から 13
の、合計 39 枚です。
これをよくシャッフルして一枚引き、
その色を Z、数字を Y としましょう。
神様視点の図はこんな調子です。

{{attach_view(multi_ex2.png)}}

Z と Y の同時分布は、次のようになります。
|| ||Y = 1||Y = 2||…||Y = 10||Y = 11||Y = 12||Y = 13
||Z = 赤||1/39||1/39||…||1/39||2/39||2/39||2/39
||Z = 黒||2/39||2/39||…||2/39||1/39||1/39||1/39

同時分布はもはや一様ではなくなりました。
それでも、同時分布から周辺確率を計算する方法は同じです。
 P(Z = 赤) = P(Z = 赤, Y = 1) + P(Z = 赤, Y = 2) + … + P(Z = 赤, Y = 13)
 P(Y = 7) = P(Z = 赤, Y = 7) + P(Z = 黒, Y = 7)
同じ計算法が通用することを納得してください。

!!!例4:よりぬきトランプ(色と絵札) --- 同時確率の合計は

だめ押しにもう一例。
「もうあたりまえじゃないか」と思っていただけたら OK です。

{{attach_view(multi_ex2.png)}}

いまと同じ、よりぬき 39 枚から一枚引いて、
その色を Z、数札か絵札かを W とします。
W は、「数札」「絵札」のどちらかの値をとる確率変数です。
神様視点の図を見れば、Z と W の同時分布は、
|| ||W = 数札||W = 絵札
||Z = 赤||10/39||6/39
||Z = 黒||20/39||3/39
この表から、Z の周辺分布は
 P(Z = 赤) = P(Z = 赤, W = 数札) + P(Z = 赤, W = 絵札) = 10/39 + 6/39 = 16/39
 P(Z = 黒) = P(Z = 赤, W = 数札) + P(Z = 赤, W = 絵札) = 20/39 + 3/39 = 23/39
一方、W の周辺分布は
 P(W = 数札) = P(Z = 赤, W = 数札) + P(Z = 黒, W = 数札) = 10/39 + 20/39 = 30/39
 P(W = 絵札) = P(Z = 赤, W = 絵札) + P(Z = 黒, W = 絵札) = 6/39 + 3/39 = 9/39

同時確率をすべて合計すれば 1 になることと、
同時分布から上のような計算で周辺分布が求められること。
このあたりまえな話を、よく頭に刻んでください。

!!!例5:3枚のカード(一枚目と二枚目) --- 見た目は違っても

\memo{条件つき確率のときに, もっと枚数をふやしたまどわせ問題出そう.
トランプから一枚引いて裏のままおいとく.
二枚目を引いて見たら赤だった.
一枚目が赤の確率は?
}

神様視点の練習として、一見すこし違う例も挙げておきます。
神様視点からすれば、いままでの例と本質的な違いはありません。

こんどは、3枚のカード
「スペードのエース」「ハートのエース」「クラブのエース」
だけを使います。
これをよくシャッフルして一枚引き、そのカードの色を X とします。
さらに、続けてもう一枚引いて、そのカードの色を Y とします。
一枚目が「X = 赤」だったら、二枚目は必ず「Y = 黒」のはず、
といったことに注意が必要です。

{{attach_view(multi_ex3.png)}}

神様視点の絵は、例えばこんなふうに描けますから、同時分布は
|| ||Y = 黒||Y = 赤
||X = 黒||1/3||1/3
||X = 赤||1/3||0

神様視点で考えると、X と Y の同時分布は、
*「X = 黒, Y = 黒」
*「X = 黒, Y = 赤」
*「X = 赤, Y = 黒」
と書かれた3枚の札をシャッフルして1枚引くのと変わりありません。

【FAQ】
ずいぶんつまらない結論ですね……

→ はい。
次にやる「条件つき確率」でとまどわないためには、
こんなふうに「つまらない話」に翻訳して考えるのが一つのコツです。
【FAQ 終】

【FAQ】
「翻訳」と言うけど、翻訳しきれていない気がする。
元の話では、「一枚目に赤を引いた」という「原因」から、「二枚目は必ず黒」という
「結果」が生じていた。
この、一枚目→二枚目という流れが、翻訳後の話からは読みとれない。

→ はい。
上の「翻訳」は、あくまでも同時分布に限定したものです。
そして、ご指摘のような「因果関係」は、同時分布だけからでは読みとれないのです。
\memo{(まだ)もっとウンチクを. しかし, この例を原因・結果というのは無理あるか….
マルコフ連鎖みたいな露骨な「時系列」のとこに回す?}
【FAQ 終】

!!!例6:三つの扉 --- 3 個以上の同時確率

最後に、もっとたくさんの確率変数を扱う例として、
「三つの扉」を見ておきます。

正解の扉を X, 挑戦者の選んだ扉を Y, 司会者が開いて見せた扉を Z としましょう。
X, Y, Z は、いずれも確率変数であり、
「ア」「イ」「ウ」のどれかの値をとります。
X, Y, Z の同時分布は、次のようになっていました。
表中の「,」は「かつ」の意味です。
|| ||Y = ア, Z = ア||Y = ア, Z = イ||Y = ア, Z = ウ||Y = イ, Z = ア||Y = イ, Z = イ||Y = イ, Z = ウ||Y = ウ, Z = ア||Y = ウ, Z = イ||Y = ウ, Z = ウ
||X = ア||0||1/18||1/18||0||0||2/18||0||2/18||0
||X = イ||0||0||2/18||1/18||0||1/18||2/18||0||0
||X = ウ||0||2/18||0||2/18||0||0||1/18||1/18||0

周辺確率 P(Y = ウ, Z = ア) は、
 P(Y = ウ, Z = ア)
 = P(X = ア, Y = ウ, Z = ア) + P(X = イ, Y = ウ, Z = ア) + P(X = ウ, Y = ウ, Z = ア)
 = 0 + 2/18 + 1/18
 = 3/18 = 1/6
のように計算
されます{{fn('「X, Y, Z の同時分布」から見れば、P(Y = ウ, Z = ア) も「周辺確率」です。と同時に、P(Y = ウ, Z = ア) 自身は、Y と Z の同時確率でもあります。')}}。
「Y = ウ, かつ Z = ア」となっているようなすべての組合せの確率を
合計したら P(Y = ウ, Z = ア) が求められる。
この原則は確率変数の数が増えても通用します。

では、周辺確率 P(Z = ア) は計算できるでしょうか。
同じ原則にしたがえば、
「Z = ア」となっているすべての組合せの確率を合計することで、
 P(Z = ア)
 = P(X = ア, Y = ア, Z = ア) + P(X = イ, Y = ア, Z = ア) + P(X = ウ, Y = ア, Z = ア)
 + P(X = ア, Y = イ, Z = ア) + P(X = イ, Y = イ, Z = ア) + P(X = ウ, Y = イ, Z = ア)
 + P(X = ア, Y = ウ, Z = ア) + P(X = イ, Y = ウ, Z = ア) + P(X = ウ, Y = ウ, Z = ア)
 = (0 + 0 + 0) + (0 + 1/18 + 2/18) + (0 + 2/18 + 1/18)
 = 6/18 = 1/3
と求められます。

!!!演習問題

試験勉強のためではなく、
「頭に十分しみたか」「誤解していないか」
の自己チェック用です。

【演習】
前項の例6で、次の式は成り立っているか?
 P(Z = ア) = P(Y = ア, Z = ア) + P(Y = イ, Z = ア) + P(Y = ウ, Z = ア)

→ 成り立つ。右辺はそれぞれこうですから、ぜんぶ合計すれば、
前項で計算した P(Z = ア) と同じです。
 P(Y = ウ, Z = ア)
 = P(X = ア, Y = ア, Z = ア) + P(X = イ, Y = ア, Z = ア) + P(X = ウ, Y = ア, Z = ア)
 P(Y = ウ, Z = ア)
 = P(X = ア, Y = イ, Z = ア) + P(X = イ, Y = イ, Z = ア) + P(X = ウ, Y = イ, Z = ア)
 P(Y = ウ, Z = ア)
 = P(X = ア, Y = ウ, Z = ア) + P(X = イ, Y = ウ, Z = ア) + P(X = ウ, Y = ウ, Z = ア)
【演習終】

【演習】
確率変数 X, Y について、X は 1 か 2 、Y は 0 か 1 か 2 の値をとるとし、
同時分布は
 P(X = a, Y = b) = c (2 a + b)
だとする{{fn('一覧表の形式で露骨に書かなくても、全組合せの同時確率を特定していれば、「同時分布」と呼んで構いません。')}}。
定数 c を答え、さらに、X, Y それぞれの周辺分布を求めよ。

→ 同時確率の合計は 1 のはず。合計してみると、
 P(X = 1, Y = 0) + P(X = 1, Y = 1) + P(X = 1, Y = 2) + P(X = 2, Y = 0) + P(X = 2, Y = 1) + P(X = 2, Y = 2)
 = 2 c + 3 c + 4 c + 4 c + 5 c + 6 c
 = 24 c
これが 1 になるためには、c = 1/24。

そのとき、X の周辺分布は、
 P(X = 1)
 = P(X = 1, Y = 0) + P(X = 1, Y = 1) + P(X = 1, Y = 2)
 = 2/24 + 3/24 + 4/24
 = 9/24 = 3/8
 P(X = 2)
 = P(X = 2, Y = 0) + P(X = 2, Y = 1) + P(X = 2, Y = 2)
 = 4/24 + 5/24 + 6/24
 = 15/24 = 5/8
また、Y の周辺分布は、
 P(Y = 0)
 = P(X = 1, Y = 0) + P(X = 2, Y = 0)
 = 2/24 + 4/24
 = 6/24 = 1/4
 P(Y = 1)
 = P(X = 1, Y = 1) + P(X = 2, Y = 1)
 = 3/24 + 5/24
 = 8/24 = 1/3
 P(Y = 2)
 = P(X = 1, Y = 2) + P(X = 2, Y = 2)
 = 4/24 + 6/24
 = 10/24 = 5/12

なお、
 P(X = 1) + P(X = 2) = 1
 P(Y = 0) + P(Y = 1) + P(Y = 2) = 1
となっていることも確認してください。
問われていなくても、こういう確認を習慣づけるようおすすめします。
計算ミスのチェックもありますが、
それ以上に、「意味」をいつも意識してほしいからです。
【演習終】
 
【演習】
以下のそれぞれについて、必ず成り立つ(○)か、そうとは限らない(×)か?
 (1) P(X = a, Y = b) = P(X = b, Y = a)
 (2) P(X = a, Y = b) = P(Y = a, X = b)
 (3) P(X = a, Y = b) = P(Y = b, X = a)
 (4) 0 ≦ P(X = a, Y = b) ≦ P(X = a) ≦ 1
 (5) Σ_a P(X = a, Y = b) = 1
 (6) Σ_a Σ_b P(X = a, Y = b) = 1
なお、
Σ_a は「X のとりうるすべての値 a について合計」、
Σ_b は「Y のとりうるすべての値 b について合計」、
とする。

→ 

(1)×(2)○(3)×
…「X = a かつ Y = b」と「Y = b かつ X = a」とは、
条件としては同じだから、
「そうなっているような世界ωの集合」も同じ。同じものの面積を測ったら当然同じ。
他は違う条件に化けている。

(4)○
…確率は 0 以上 1 以下。
しかも、P(X = a) は、
「Y のとり得るすべての値□について P(X = a, Y = □) を合計した値」
なのだから、そのうちの一つである P(X = a, Y = b) よりは大きい
(または同じ){{fn('P(X = a, Y = □) ≧ 0 なこと(確率は 0 以上)からこれが保証される。')}}。

(5)×(6)○
…同時分布の「すべてについて」確率を合計すれば 1。
【演習終】

【演習】
0 か 1 の値をとる確率変数 X, Y について、
 P(X = 1) = 0.7
 P(Y = 1) = 0.6
 P(X = 0, Y = 0) = 0.1
のとき、P(X = 1, Y = 1) は?

→ 書くのがめんどうなので、まず同時確率に記号をつける。
 a = P(X = 0, Y = 0)
 b = P(X = 0, Y = 1)
 c = P(X = 1, Y = 0)
 d = P(X = 1, Y = 1)
次のように、同時確率の合計は 1 のはず。
 a + b + c + d = 1  … (ア)
一方、指定された条件から
 P(X = 1) = c + d = 0.7  … (イ)
 P(Y = 1) = b + d = 0.6  … (ウ)
 P(X = 0, Y = 0) = a = 0.1
これらから d を求めればよい。a = 0.1 を使えば(ア)から
 b + c + d = 0.9  … (エ)
がわかり、そこへ(イ)(ウ)を変形した
 c = 0.7 - d
 b = 0.6 - d
を代入することで、
 (0.7 - d) + (0.6 - d) + d = 0.9
つまり
 1.3 - d = 0.9
よって d = 0.4 が得られる{{fn('目の効く人なら、「(イ)と(ウ)を足して(エ)を引けば d が出る」の方が少し楽。')}}。

ベン図を描けば、もっと算数的にも解ける。
【演習終】

【演習】
その 3 変数版(まだ)
【演習終】

【演習】
その 4 変数版. まちがった不完全なベン図を使ってみせて, 「誤りを指摘せよ」(まだ)
【演習終】

【演習】
周辺確率は例2と同じなのに、同時確率は例2とは異なるような例を作れ

→ (まだ)
*スペードの1から7
*ハートの8から13
*クラブの1から6
*ダイヤの7から13
【演習終】

----
コメントは[[プログラミングのための確率統計]]へ
----
{{toc}}