第一章 随机时间与概率

1. 随机事件及其运算

1.1 随机现象

​ 确定性现象：只有一个结果的现象

​ 确定性现象：结果不止一个，且哪一个结果出现，人们事先并不知道

1.2 样本空间

​ 样本空间：随机现象的一切可能基本结果组成的集合，记为 Ω = { ω } \Omega = \{\omega\} Ω={ω}，其中$\omega$表示基本结果，又称为样本点。

1.3 随机事件

​ 随机事件：随机现象的某些基本样本点组成的集合称为随机时间，简称事件，常用大写字母$A,B,C,\cdots$表示。

​ 维恩(Venn)图：类似图1的图形

图1 事件A的维恩图

​ 由样本空间$\Omega$中的单个元素组成的子集称为基本事件，而样本空间$\Omega$的最大子集(即$\Omega$本身)称为必然事件，样本空间$\Omega$的最小子集(即空集$\varnothing $)称为不可能事件。

1.4 随机变量

​ 随机变量：用来表示随机现象结果的变量，常用大写字母X,Y,Z表示，很多时间都可用随机变量表示，表示时应写明随机变量的含义。

1.5 事件间的关系

​ 包含关系：如果属于A的样本点必属于B，则称A被包含在B中，或称B包含A，记为$A\subset B$

​ 相等关系：属于A的样本点必属于B，属于B的样本点必属于A，即$A\subset B$ 且$B\subset A$，则称事件A与B相等，记为A=B

​ 互不相容：如果A与B没有相同的样本点，则称A与B互不相容。

2.概率的定义及其确定方法

​ 1933年苏联数学家柯尔莫戈洛夫首次提出了概率的公理化定义。

2.1 概率的公理化定义

定义2.1 概率

​ 设$\Omega$为一个样本空间，$F$为$\Omega$的某些子集组成的一个事件域，如果对于任一事件$A\in F$，定义在$F$上的一个实值函数$P(A)$满足：

1. 非负性公理 若$A\in F$,则$P(A)\ge 0;$

2. 正则性公理 $P(\Omega )=1$；

3. 可列可加性公理 若$A_1,A_2,\cdots ,A_n,\cdots$互不相容，则：
   $$P(\bigcup _{i=1}^{\infty }{A}_i)=\sum _{i=1}^{\infty }P(A_i)$$
   称$P(A)$为事件$A$的概率，称三元素$(\Omega ,F,P)$为概率空间。

排列和组合： p13

抽样模型 p16

放回抽样 p18

额，全看一下吧，从p12 的1.2.2 排列与组合公式开始。

3.概率的性质

性质3.1 $P(\varnothing)= 0 $

3.1 概率的可加性

性质3.2 有限可加性

​ 若有限个时间$A_1,A_2,\cdots ,A_n$互不相容，则有
$$P(\bigcup _{i=1}^n{A}_i)=\sum _{i=1}^{n}P(A_i)$$

性质3.3 对立事件的概率

​ 对任意时间$A$，有：
$$P(\overline{A})=1-P(A)$$
例题：甲乙抛硬币，甲抛$n+1$次，乙抛$n$次，求甲抛出正面次数大于乙抛出正面次数的概率$P(A)$

解：

​ 事件A定义为${甲}_{正}>{乙}_{正}$,则$\overline{A}={甲}_{正}\le {乙}_{正}$

​ $P(A)=P({甲}_{正}>{乙}_{正})=P(n+1-{甲}_{反}>n-{乙}_{反})=P({甲}_{反}<{乙}_{反}+1)=P({甲}_{反}\le {乙}_{反})=P({甲}_{正}\le {乙}_{正})=P(\overline{A})$

​ 则$P(A)=P(\overline{A})=\frac{1}{2}$

3.2 概率的单调性

性质 3.4 包含关系的性质

​ 若$B\subset A$，则
$$P(A-B)=P(A)-P(B)$$
推论(单调性) 若$B\subset A$ ，则$P(A)\ge P(B)$

性质3.5 概率差 p30

​ 对任意两个事件$A,B$，有
$$P(A-B)=P(A)-P(AB)$$

3.3 概率的加法公式

性质3.6 加法公式 p31

​ 对任意两个事件$A,B$有
$$P(A\cup B)=P(A)+P(B)-P(AB)$$
​ 对任意n个时间$A_1,A_2,\cdots ,A_n$，有：
$$P(\bigcup _{i=1}^n{A}_i)=\sum _{i=1}^{n}P(A-i)-\sum _{1\le i<j\le n}P(A_i{A}_j)+\sum _{1\le i<j<k\le n}P(A_i{A}_j{A}_k)+\cdots +(-1{)}^{n-1}P(A_1{A}_2\cdots A_n)$$
推论(半可加性) 对任意两个事件$A,B$，有
$$P(A\cup B)\le P(A)+P(B)$$
​ 对任意$n$个事件$A_1,A_2,\cdots ,A_n$有
$$P(\bigcup _{i=1}^n{A}_i)\le \sum _{i=1}^{n}P(A_i)$$

​ p32 的配对问题，很重要

3.4 概率的连续性

定义3.1 极限事件

1. 对$F$中任一单调不减的事件序列$F_1\subset F_2\subset \cdots \subset F_n\subset \cdots$，称可列并${\bigcup }_{n=1}^{\infty }{F}_n$为 { F n } \{F_n\} {Fn​}的极限事件，记为
   $$li{m}_{n\to \infty }{F}_n=\bigcup _{n=1}^{\infty }{F}_n$$

2. 对$F$中任一单调不增的事件序列$E_1\supset E_2\supset \cdots \supset E_n\supset \cdots$，称可列并${\bigcap }_{n=1}^{\infty }{E}_n$为 { E n } \{E_n\} {En​}的极限事件，记为
   $$li{m}_{n\to \infty }{E}_n=\bigcap _{n=1}^{\infty }{E}_n$$

定义3.2 连续，上连续，下连续

对F上的一个概率P

1. 若它对F中任一单调不减的事件序列 { F n } \{F_n\} {Fn​}均成立
   $$li{m}_{n\to \infty }P(F_n)=P(li{m}_{n\to \infty }{F}_n)$$
   则称概率$P$是下连续的，(左连续，P从小变大)

2. 若它对F中任一单调不增的事件序列 { E n } \{E_n\} {En​}均成立
   $$li{m}_{n\to \infty }P(E_n)=P(li{m}_{n\to \infty }{E}_n)$$
   则称概率$P$是上连续的，(右连续，P从大变小)

性质3.7 概率的连续性 p33

​ 若P为事件域F上的概率，则P既是下连续的，又是上连续的。

性质3.8 可列可加性的条件 p34

​ 若P是F上满足$P(\Omega )=1$的非负集合函数，则它具有可列可加性的充要条件是:

1. 它是有限可加的
2. 它是下连续的

4.条件概率

4.1条件概率的定义 p37

定义4.1 条件概率

​ 设A与B是样本空间$\Omega$中的两事件，若$P(B)\gt 0 $，则称：
$$P(A|B)=\frac{P(AB)}{P(B)}$$
​ 为在B发生下A的条件概率，简称条件概率

性质4.1 条件概率的性质

条件概率是概率，即若设$P(B)>0$，则：

1. $P(A|B)\ge 0,A\in F$
2. $P(\Omega |B)=1$
3. 若F中的$A_1,A_2,\cdots ,A_n,\cdots$互不相容，则

$$P(\bigcup _{n=1}^{\infty }{A}_n|B)=\sum _{n-1}^{\infty }P(A_n|B)$$

4.2 乘法公式

1. 若$P(B)>0$，则
   $$P(AB)=P(B)P(A|B)$$

2. 若$P(A_1{A}_2\cdots A_{n-1})>0$,则
   $$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$$

罐子模型 p39

4.3 全概率公式 p40

​ 设$B_1,B_2,\cdots ,B_n$为样本空间$\Omega$的一个分割,即$B_1,B_2,\cdots ,B_n$互不相容，且${\bigcup }_{i=1}^n{B}_i=\Omega$，如果$P(B_i)>0,i=1,2,\cdots ,n$，则对任一事件有：
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$

4.4 贝叶斯公式 p43

​ 设$B_1,B_2,\cdots ,B_n$是样本空间$\Omega$的一个分割，即$B_1,B_2,\cdots ,B_n$互不相容，且${\bigcup }_{i=1}^n{B}_i=\Omega$，如果$P(A)>0,P(B_i)>0,i=1,2,\cdots ,n$,则
$$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)},i=1,2,\cdots ,n$$
​ 分子用乘法公式，分母用全概率公式

​ 贝叶斯分类器 p43

​ 肝癌的例子p43

5.独立性

5.1 两个事件的独立性

独立性：一个事件的发生不影响另一个事件的发生：
$$P(AB)=P(A)P(B)$$
​ 若$P(A)=0||P(B)=0$，等式依然成立。

定义5.1 独立

​ 如果$P(AB)=P(A)P(B)$，则称$A$与$B$相互独立，简称$A$与$B$独立，否则成不独立或相依

独立的性质

​ 若事件$A$与$B$独立，则$A$与$\overline{B}$独立，$\overline{A}$与$B$独立，$\overline{A}$与$\overline{B}$独立

​ 证明:P48,由补的性质可以推出

5.2 多个事件的相互独立性

定义 5.2 三个事件的独立

​ 设$A,B,C$是三个事件，如果有：
$$\{\begin{array}{rl}P(AB)& =P(A)P(B)\\ P(AB)& =P(A)P(C)\\ P(AB)& =P(B)P(C)\end{array}$$
​ 则称$A,B,C$两两独立,若还有：
$$P(ABC)=P(A)P(B)P(C)$$
​ 则称$A,B,C$相互独立

定义 5.3 相互独立

​ 设有$n$个事件$A_1,A_2,\cdots ,A_n$，对任意的$1\le i<j<k<\cdots \le n$，如果以下等式均成立：
$$\{\begin{array}{rl}P(A_i{A}_j)& =P(A_i)P(A_j),\\ P(A_i{A}_j{A}_k)& =P(A_i)P(A_j)P(A_k),\\ & \cdots \cdots \cdots \\ P(A_1{A}_2\cdots A_n)& =P(A_1)P(A_2)\cdots P(A_n),\end{array}$$
​ 则称这$n$个事件相互独立

例1.5.5 p50 ,甲乙比赛射击

例1.5.6 p51 ,桥式电路

5.3 试验的独立性

​ 利用事件的独立性可以定义两个或更多个试验的独立性

定义5.4 试验相互独立

​ 设有两个试验$E_1$和$E_2$，假如试验$E_1$的任一结果(事件)与试验$E_2$的任一结果(事件)都是相互独立的事件，则称这两个试验相互独立

​ 类似的可推广定义到n个试验，如果n个试验的任一结果都是相互独立的事件，则称这n个试验相互独立，如果这$n$个独立试验还是相同的，则称其为n重独立重复试验，如果在$n$重独立重复试验中，每次试验的可能结果为两个：$A$或$\overline{A}$，则称这种试验为n重伯努利(Bernoulli)试验。