全概率公式和贝叶斯公式

一、样本空间的划分

定义设Ω\OmegaΩ为试验EEE的样本空间，$B_1,B_2,\cdots B_n $ 为EEE的一组事件. 若

1. BiBj=∅,i≠j, i,j=1,2,…,nB_iB_j = \varnothing ,i \ne j , \, i,j = 1,2,…,nBi​Bj​=∅,i=j,i,j=1,2,…,n;
2. B1∪B2∪⋯∪Bn=ΩB_1 \cup B_2 \cup \cdots \cup B_n = \OmegaB1​∪B2​∪⋯∪Bn​=Ω

则称B1,B2,⋯BnB_1,B_2,\cdots B_nB1​,B2​,⋯Bn​为 样本空间Ω\OmegaΩ的一个划分,事件B1,B2,⋯BnB_1,B_2,\cdots B_nB1​,B2​,⋯Bn​构成一个完备事件组(Collectively exhaustive events)。

若B1,B2,⋯BnB_1,B_2,\cdots B_nB1​,B2​,⋯Bn​为 样本空间Ω\OmegaΩ的一个划分，则对每次试验，事件B1,B2,⋯BnB_1,B_2,\cdots B_nB1​,B2​,⋯Bn​中必有一个且仅有一个发生.

二、全概率公式(Total Probability Theorem)

定理设 试验EEE的样本空间为Ω\OmegaΩ，AAA为EEE的事件, $B_1,B_2,\cdots B_n $ 为Ω\OmegaΩ的一个划分，且P(Bi)>0 (i=1,2,⋯n)P(B_i) \gt 0 \, (i = 1,2, \cdots n)P(Bi​)>0(i=1,2,⋯n),则
P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+⋯+P(A∣Bn)P(Bn) P(A) = P(A | B_1)P(B_1) + P(A | B_2)P(B_2) + \cdots + P(A | B_n)P(B_n)P(A)=P(A∣B1​)P(B1​)+P(A∣B2​)P(B2​)+⋯+P(A∣Bn​)P(Bn​)
上式称为全概率公式

证 因为

A=AΩ=A⋅(B1∪B2⋯∪Bn)=AB1∪AB2⋯∪ABnA = A\Omega = A \cdot (B_1 \cup B_2 \cdots \cup B_n) = AB_1 \cup AB_2 \cdots \cup AB_nA=AΩ=A⋅(B1​∪B2​⋯∪Bn​)=AB1​∪AB2​⋯∪ABn​

且BiBj=∅,i≠j, i,j=1,2,…,nB_iB_j = \varnothing ,i \ne j , \, i,j = 1,2,…,nBi​Bj​=∅,i=j,i,j=1,2,…,n;

则ABi∩ABj=A(BiBj)=∅AB_i \cap AB_j = A(B_i B_j) = \varnothingABi​∩ABj​=A(Bi​Bj​)=∅,因此
P(A)=P(AB1∪AB2⋯∪ABn)=∑k=1nP(ABk)=∑k=1nP(Bk)P(A∣Bk) \begin{align} P(A) &= P(AB_1 \cup AB_2 \cdots \cup AB_n) = \sum_{k=1}^{n} P(AB_k) = \sum_{k=1}^{n} P(B_k) P(A | B_k) \end{align}P(A)​=P(AB1​∪AB2​⋯∪ABn​)=k=1∑n​P(ABk​)=k=1∑n​P(Bk​)P(A∣Bk​)​​

三、贝叶斯定理(Bayes’ Theorem)

定理设 试验EEE的样本空间为Ω\OmegaΩ，AAA为EEE的事件,B1,B2,⋯BnB_1,B_2,\cdots B_nB1​,B2​,⋯Bn​为Ω\OmegaΩ的一个划分，且P(A)>0,P(Bi)>0 (i=1,2,⋯n)P(A) \gt 0 ,P(B_i) \gt 0 \, (i = 1,2, \cdots n)P(A)>0,P(Bi​)>0(i=1,2,⋯n),则
P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,n P(B_i | A) = \frac{P(A|B_i)P(B_i)}{\displaystyle \sum_{j=1}^{n}P(A | B_j)P(B_j)} , i = 1,2, \cdots ,nP(Bi​∣A)=j=1∑n​P(A∣Bj​)P(Bj​)P(A∣Bi​)P(Bi​)​,i=1,2,⋯,n

证 由条件概率的定义及全概率公式，得
P(Bi∣A)=P(ABi)P(A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,⋯ ,n P(B_i | A) =\frac{P(AB_i)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\displaystyle \sum_{j=1}^{n}P(A | B_j)P(B_j)} , i = 1,2, \cdots ,nP(Bi​∣A)=P(A)P(ABi​)​=j=1∑n​P(A∣Bj​)P(Bj​)P(A∣Bi​)P(Bi​)​,i=1,2,⋯,n