概率论和数理统计

本节内容会摘录下自己想要了解的概率论知识。

概率事件和概率

1. 古典型概率

古典型概率的基本事件为n，事件A包含k个基本事件，则A的概率定义为：
$$ P(A) = \frac{k}{n} $$

2. 几何形概率

落入区域A的概率和区域A的几何度量有关，而与位置和形状无关。

3. 计算概率的公式

• 乘法公式
  $$P(AB)=P(A)P(B|A)$$
• 全概率公式
  $$P(B)=\sum_{i=1}^{n}P(B|A_i)$$
• 贝叶斯公式
  $$P(A|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}$$

4. 伯努利公式（二项概率公式）

• n重伯努利实验中，事件A发生k次的概率
• $$ P(A_k)=C_n^kp^kq^{n-k} $$

5. 伯努利实验

• 结果是两种对立的事件。

第二章 随机变量及其分布

常见的离散型随机变量及其分布

0-1分布(伯努利分布)

随机变量只可能取0和1两个值
$$ P{X=k}=p^kq^{1-k} $$

二项分布

即是n重伯努利分布
$$ P(A_k)=C_n^kp^kq^{n-k} $$

几何分布

$$ P(X=n)=pq^{n-1} $$
描述连续独立重复的伯努利实验中，首次取得成功的概率。

超几何分布

常见的连续性随机变量和概率密度

均匀分布（uniform）

正态分布

常见概率分布表和他们的相互关系

第三章 多维随机变量及其分布

联合概率分布

边缘分布

第四章 随机变量的数字特征

数学期望

离散型：
$$ EX=\sum x_ip_i $$

连续型：
$$ EX = \int xf(x)dx$$

数学性质：

注意，X+Y的期望和二者是够否独立没有关系

方差

$$ D(X)=Var(X)=E[[X-EX]^2] = E[X^2] - (EX)^2$$

方差的重要性质

协方差

$$ Conv(X, Y)=E[(X-EX)(Y-EY)] $$

相关系数

系数的值为1意味着X 和 Y可以很好的由直线方程来描述，所有的数据点都很好的落在一条 直线上，且 Y 随着 X 的增加而增加。系数的值为−1意味着所有的数据点都落在直线上，且 Y 随着 X 的增加而减少。

系数的值为0意味着两个变量之间没有线性关系。

第五章 大数定理和中心极限定理

切比雪夫不等式

切比雪夫大数定理

中心极限定理（独立同分布情况）

中心极限定理完美的适应在机器学习中的数据分布。我们假设数据样本之间是独立同分布的。

整个数据样本的分布就符合正态分布的情况了。

数理统计部分

参数估计和假设检验

最大似然估计