复旦大学经济学院 ECON130001
样本空间 $\Omega$,事件是它的子集;并交差补就是事件的运算; $A-B=A\cap\overline{B}$;De Morgan 律让「至少一个」与「都不」互换。
非负性、$P(\Omega)=1$、可列可加性。六条性质全部由它们推出,没有额外假设。
三条公理规定了概率要满足什么约束,却没说 基本事件的概率从哪来。$P(\{1\})$ 到底等于多少,公理一个字都没提。
当试验的基本事件有限个,且每个基本事件出现的可能性相同时, 称为古典概型,其样本空间称为简单样本空间。
$\Omega$ 含 $n$ 个结果,每个结果概率 $1/n$。事件 $A$ 含 $m$ 个结果,则 $$P(A)=\frac{\text{有利于 }A\text{ 的基本事件数}}{\text{基本事件总数}}=\frac{\sharp A}{\sharp\Omega}=\frac{m}{n}$$
「等可能」是一条额外的假设,不是公理推出来的。 一旦假设它,每个基本事件的概率就被定死为 $1/n$,公理随即唯一决定其余一切。
袋内装有 5 个白球、3 个黑球。任取两个球,求两个都是白球的概率。
样本空间:从 8 个球中取 2 个,$\sharp\Omega=C_8^2=28$。
事件 $A$:从 5 个白球中取 2 个,$\sharp A=C_5^2=10$。
$$P(A)=\frac{10}{28}=\frac{5}{14}\approx0.357$$$P(A)=\sharp A/\sharp\Omega$ 只有一行。真正花时间的是把 $\sharp A$ 和 $\sharp\Omega$ 数对 ——而且两者必须落在同一个样本空间上。所以接下来四页讲怎么数。
完成一件事有 $n$ 类方法,第 $i$ 类有 $m_i$ 种, 每一类都能单独把事情办成,则 $$N=m_1+m_2+\cdots+m_n$$
北京到沈阳可乘飞机、火车、长途汽车。一天有 4 个航班、3 列火车、5 趟汽车, 共有多少种走法?
$4+3+5=12$ 种。
「或」——选了这一类就不用另一类。对应上一讲的互斥事件之并。
完成一件事分 $n$ 步,第 $i$ 步有 $m_i$ 种选择, 每一步都做完才算办成,则 $$N=m_1\times m_2\times\cdots\times m_n$$
北京到沈阳 4 个航班,沈阳到哈尔滨 5 个航班,北京直飞哈尔滨 3 个航班。 北京到哈尔滨有几种走法?
$\underbrace{4\times5}_{\text{转机:分两步}}+\underbrace{3}_{\text{直飞}}=23$ 种。
「且」/「然后」——每一步都要走。 这道题两个原理都用了:先按「转机还是直飞」分类,转机那一类内部再分步。
罐中装有编号 1 至 8 的小球,摸出一个记下球号后放回。 摸 4 次并依次记录,最多得到多少种球号排列?
$8^4=4096$ 种。
从 $n$ 个不同元素中取 $m$ 个排列,允许重复,总数为 $$n^m$$
每一次摸球是一「步」,每步都有完整的 8 种选择——放回意味着 前一步不影响后一步。这正是分步乘法原理。
邮政编码由 6 位数字组成,每位可取 $0,1,\dots,9$。 最多能编出多少个各位数字互不相同的邮编?
$\dfrac{10!}{(10-6)!}=10\times9\times8\times7\times6\times5=151200$ 种。
从 $n$ 个不同元素中取 $m$($m\le n$)个,按顺序排成一列,总数为 $$A_n^m=\frac{n!}{(n-m)!}$$
不放回:选走一个,下一步就少一个可选。 $10\times9\times8\cdots$ 而不是 $10\times10\times10\cdots$。
从 $n$ 个不同元素中取 $m$($m\le n$)个,不论次序构成一组,总数为 $$C_n^m=\frac{n!}{(n-m)!\,m!}=\frac{A_n^m}{m!}$$
30 人的班级选 5 人组成班委,共有多少种选法?
$C_{30}^5=\dfrac{30!}{25!\,5!}=\dfrac{30\times29\times28\times27\times26}{120}=142506$ 种。
问一句:换个顺序,还是同一件事吗? 班委不分先后 → 组合;邮编换个顺序就是另一个号 → 排列。
| 问自己 | 答 | 用 |
|---|---|---|
| 分类还是分步? | 分类(「或」) | 加法 $m_1+m_2+\cdots$ |
| 分步(「且」) | 乘法 $m_1\times m_2\times\cdots$ | |
| 取了放不放回? | 放回 | $n^m$ |
| 不放回,讲顺序 | $A_n^m=\dfrac{n!}{(n-m)!}$ | |
| 不放回,不讲顺序 | $C_n^m=\dfrac{n!}{(n-m)!\,m!}$ |
最后必查一条:$\sharp A$ 与 $\sharp\Omega$ 必须数在同一个样本空间上 ——一个讲顺序、一个不讲顺序,比出来的就是错的。
把一篇文章看成一个装满词的袋子,暂时不管语法和顺序 ——注意,「不管顺序」就是在说:这是个组合问题,不是排列问题。
先在海量语料上统计:「上涨」「盈利」这些词在利好评论里出现得多频繁。 判断新评论时算 $$P(\text{利好}\mid\text{评论})\ \propto\ \frac{\text{含这些词的利好评论数}}{\text{利好评论总数}}$$
右边这个分式,就是古典概型的 $\sharp A/\sharp\Omega$。 看起来最现代的文本分析,起点是数数。 (左边那个条件概率的正式算法在第 3 讲。)
从一副 52 张牌中随机抽 5 张。抽牌不计顺序,所以 $$\sharp\Omega=C_{52}^5=2\,598\,960$$ 这个数是所有牌型的公共分母,只要算一次。
八种牌型,八个 $\sharp A$。八次都是同一套动作: 先定点数,再定花色,最后减掉重复计入的更大牌型。
五张连号且同花色。
$$\frac{10\times4}{C_{52}^5}=\frac{40}{2598960}\approx1.54\times10^{-5}$$10:起始点数(A-2-3-4-5 到 10-J-Q-K-A)。
4:花色四选一。
一个对子 + 三张互不相同的散牌。
$$\frac{C_4^2\times13\times C_{12}^3\times4^3}{C_{52}^5}=\frac{1098240}{2598960}\approx0.423$$$13$ 定对子点数,$C_4^2$ 定其花色,
$C_{12}^3$ 定三张散牌的点数,$4^3$ 定它们的花色。
差了四个数量级。中间还有六种牌型——它们的算法完全一样, 下一页交给你们自己在工具里拆。
点左侧任一牌型,右边会把计数式逐个因子拆开, 每个因子配一句「它是怎么来的」。
交互演示:选牌型,看计数式逐因子拆解
| 牌型 | $\sharp A$ | 概率 |
|---|---|---|
| 同花顺 | 40 | 0.0015% |
| 四条 | 624 | 0.024% |
| 葫芦 | 3 744 | 0.144% |
| 同花 | 5 108 | 0.197% |
| 顺子 | 10 200 | 0.392% |
| 三条 | 54 912 | 2.11% |
| 两对 | 123 552 | 4.75% |
| 一对 | 1 098 240 | 42.3% |
「五张同花色」里混着 40 个同花顺,而同花顺是更大的牌型。 不减就重复计数了——这是上一讲互斥没处理好。
那样会把「A 对 + K 对」和「K 对 + A 对」数两遍。 两个对子没有先后,选点数必须用 $C_{13}^2$。
股票池有 10 只科技股、8 只金融股。完全随机选 5 只构成组合, 求恰好选出 3 只科技股和 2 只金融股的概率。
不考虑选取顺序,所以用组合: $$\sharp\Omega=C_{18}^5=8568,\qquad \sharp A=C_{10}^3\times C_8^2=120\times28=3360$$ $$P(A)=\frac{3360}{8568}\approx0.392$$
注意 $\sharp A$ 用的是乘法:从科技股里选 3 只 且从金融股里选 2 只,是分两步走。
「随机选」是一个基准。基金经理主动选出的组合若在这个分布里毫不出奇, 那他的选股能力就无从谈起——这是业绩归因的基本思路。
密码 6 位,每位可以是 a–z、A–Z、0–9 中任意一个。 黑客每秒能试 100 万个,暴力破解平均需要多久?
字符集 $26+26+10=62$,每位独立、可重复,属有重复的排列: $$\sharp\Omega=62^6=56\,800\,235\,584\approx568\text{ 亿}$$ 平均要试一半才成功: $$t\approx\frac{56.8\times10^9/2}{10^6}\approx28400\ \text{秒}\approx7.9\ \text{小时}$$
同一个数,换个单位就换了结论。密码每多一位,时间乘 62 ——8 位就要 3.5 年。计数原理就是信息安全强度的理论基础。
到这里,只要样本空间是有限的,我们都能算了——数分子、数分母、相除。
但如果结果有无穷多个呢? 「在 $[0,1]$ 上随机取一个数」,基本事件有不可数无穷个,每个的概率都是 0。 分母是无穷,这个除法做不下去了。
在 $[0,1]$ 上随机取一个数,求它小于 $0.5$ 的概率。
$P=0.5$。—— 不是数个数,是比长度。
在 $[0,1]$ 上随机取两个数,求两数之差小于 $0.5$ 的概率。
样本空间是单位正方形,事件是 $|x-y|<0.5$ 的带状区域。 $$P=1-2\times\frac{1}{2}\times0.5^2=0.75$$ —— 这次是比面积。
规律出来了:把「计数」换成「测量」。一维测长度,二维测面积,$r$ 维测体积。
$R_r$ 是 $r$ 维向量空间。对 $R_r$ 的子集 $A$,定义其测度 $$m(A)=\int_A \mathrm{d}x_1\mathrm{d}x_2\cdots\mathrm{d}x_r$$ $r=1$ 是长度,$r=2$ 是面积,$r=3$ 是体积。
设样本空间 $\Omega\subset R_r$ 的测度 $m(\Omega)$ 为正数,样本点等可能地落在 $\Omega$ 中。 对 $A\subset\Omega$,称 $$P(A)=\frac{m(A)}{m(\Omega)}$$ 为事件 $A$ 发生的概率。
和古典概型是同一个式子:分子分母都换成了测度而已。 「等可能」这条假设也原样保留——请记住它,最后一页要算账。
质点等可能地落在半径 $1\,\mathrm{m}$ 的圆 $\Omega$ 中,$A$ 是其中半径 $0.5\,\mathrm{m}$ 的同心圆。 求质点落在小圆内、小圆外的概率。
落在小圆外:由上一讲的对立事件,$P(\overline{A})=1-\frac14=\frac34$。
半径缩一半,概率不是缩一半,是缩到四分之一——面积按半径的平方走。
两人在 1:00 至 2:00 间独立且随机地到达某地会面,先到者等 20 分钟即离去。 求两人能相遇的概率。
设两人到达时刻为 $x,y$(分钟): $$\Omega=\{(x,y)\mid 0\le x,y\le60\},\qquad A=\{(x,y)\mid |x-y|\le20\}$$ $\Omega$ 是 $60\times60$ 的正方形;$A$ 的补集是两个直角边为 $40$ 的三角形: $$P(A)=\frac{60^2-40^2}{60^2}=\frac{2000}{3600}=\frac59\approx0.556$$
题面里没有任何几何图形,「面积」是我们自己造出来的—— 把两个时刻当成平面上一个点的两个坐标。这一步才是几何概型真正难的地方。
在 $[0,1]$ 中随机取两点 $x,y$,求 $x^2+y^2<1$ 的概率。
$\Omega$ 是单位正方形(面积 1), $A$ 是四分之一单位圆: $$P(A)=\frac{\pi/4}{1}=\frac{\pi}{4}$$
眼熟吗?这正是上一讲蒙特卡洛估计 $\pi$ 的那个模型 ——反过来用就能测 $\pi$。
两人在 5:00 至 6:00 间独立随机到达,求一人至少等另一人半小时的概率。
$A=\{|x-y|\ge30\}$,是两个直角边为 $30$ 的三角形: $$P(A)=\frac{30^2}{60^2}=\frac14$$
与例题(二)是同一张图的另一块区域—— 换个问法,换块面积。
在半径为 1 的圆内任取一条弦,求弦长 $\ge\sqrt3$ 的概率。
固定一端 $x_0$,另一端 $y$ 等可能落在圆周上: $$\Omega=[0,2\pi),\quad A=[\tfrac{2\pi}{3},\tfrac{4\pi}{3}]$$ $$P(A)=\frac13$$
弦的中点等可能落在圆内。弦长 $\ge\sqrt3$ 当且仅当中点落在半径 $1/2$ 的小圆盘内: $$P(A)=\frac{\pi(1/2)^2}{\pi\cdot1^2}=\frac14$$
还有第三种:中点到圆心的距离等可能落在 $[0,1]$ 上,得 $P=\frac12$。 三种取法都自称「随机」,答案却是 $\frac13$、$\frac14$、$\frac12$。
「随机取一条弦」这句话没有指定样本空间。 端点均匀、中点均匀、距离均匀——这是三个不同的 $\Omega$, 自然给出三个不同的 $P$。
古典概型说「每个基本事件等可能」,几何概型说「样本点等可能落在 $\Omega$ 中」 ——这两句话里的「等可能」都必须先说清楚是对什么等可能, 否则概率根本没有定义。
开场问的是:什么叫「随机撒点」?现在有答案了——撒法本身就是模型的一部分。 蒙特卡洛方法的全部技术难点,正在于设计一个采样分布,让估计值收敛到你真正想要的那个数。
A、B 两家公司竞争一份合同,各自独立且随机地在 $[100,200]$(万元)内报价, 价低者得。求:(1) A 中标的概率;(2) A 中标且报价高于 150 万的概率。
设 A 报 $x$、B 报 $y$。$\Omega$ 是边长 100 的正方形,$m(\Omega)=100^2=10000$。
(1) A 中标即 $x<y$,是对角线上方的三角形: $$P=\frac{\frac12\times100^2}{10000}=\frac12$$ ——不用算也知道,两家对称。
(2) 加上 $x>150$,区域缩成顶点为 $(150,150),(150,200),(200,200)$ 的小三角形: $$P=\frac{\frac12\times50^2}{10000}=\frac{1250}{10000}=\frac18$$
一个模型在训练时把所有数据点完美分开了。 现在来一个新数据点,随机出现在图中任意位置。模型分错的概率是多少?
边界越扭,训练集上越完美,划错的面积却越大。 在训练数据上得分高,不等于在新数据上犯错少。
围棋的局面数不完,AlphaGo 靠随机采样。而「随机」这个词本身需要被定义 ——贝特朗悖论证明了:不说清对什么等可能,概率就没有值。
上一讲说公理没有给出基本事件的概率;这一讲给出了两种给法 (等可能计数、等可能测度)。但代价是:给法本身成了模型假设,要为它负责。
今天所有的概率都是一次性算出来的:给定 $\Omega$,数一数,完事。
可现实中信息是陆续到来的——三门问题里,主持人开门之后, 那扇门的概率就变了。已经知道了一部分事实,剩下的概率该怎么更新?
下一讲:条件概率与事件的独立性。