概率论部分（单变量）

notes › gaitong

概率论部分（单变量）

一、 随机现象的数学描述和概率论的基本思想

  1. 随机事件之间的关系和事件的基本运算。

  2. 理解条件概率的直观含义和数学定义，掌握条件概率在概率计算中的应用（乘法公式、全概率公式、Bayes 公式）。

    乘法公式：
    $$
    P(A \cap B) = P(B|A) \cdot P(A)
    $$
    全概率公式：
    $$
    P(B) = \sum_i P(B|A_i) \cdot P(A_i)
    $$
    Bayes公式：设$A_1,\dots,A_n$为样本空间的一个分割
    $$
    P(A_i|B) = \frac{P(B|A_i) \cdot P(A_i)}{\sum_j P(B|A_j) \cdot P(A_j)}
    $$
    其中，A和B是事件，P(A)表示事件A发生的概率，P(B)表示事件B发生的概率，P(B|A)表示在事件A发生的条件下事件B发生的概率，A_i表示一系列互斥且完备的事件。

  3. 理解事件的独立性的定义和有关性质。

    事件独立性的定义： 事件A和事件B被称为独立事件，如果满足以下条件：P(A∩B)=P(A)⋅P(B)

    否则称A与B不独立或相关

    如果事件A和事件B是独立事件，则事件A与事件B的并集的概率等于事件A的概率加上事件B的概率减去事件A和事件B的交集的概率：P*(A∪B)=P(A)+P(B)−P(A∩*B)

tips：

抽签模型与次序无关：第一次抽中白球的概率和第二次抽中白球的概率是相同的，无论放不放回。

随机变量的概率分布

  1. 理解随机变量及其概率分布函数的定义，理解随机变量概率分布函数的性质，掌握概率分布函数的计算。

    分布函数：$F(x)=P(X\leq x)$

  2. 理解离散型随机变量、连续型随机变量的定义，掌握概率分布列、概率密度函数及概率分布函数的关系，掌握有关的计算。

  3. 理解多维随机变量的定义，理解联合概率分布（分布函数、分布列、概率密度）与边缘分布（分布函数、分布列、概率密度），掌握有关计算。

  4. 理解随机变量的独立性的定义和性质，掌握判断独立和不独立的方法

三、 随机变量的数字特征

  1. 单个随机变量的数字特征

a) 数学期望和方差：
i. 理解数学期望的定义，理解数学期望的存在性，掌握数学期望的性质和计算。
ii. 理解方差的定义和直观含义，掌握方差的性质和计算。
iii. 理解如何线性变换对随机变量进行期望=0，方差=1 的标准化。
iv. 理解期望、方差的下述性质：
b) 原点矩和中心矩。
c) 切比雪夫（Chebyshev）不等式。

对于任意随机变量X，具有有限方差E[(X-μ)²] = σ²，其中μ是X的均值，σ²是X的方差。对于任意正数ε > 0，切比雪夫不等式给出：

$$
P(|X - \mu| \geq \epsilon) \leq \frac
$$
即随机变量X偏离其均值μ超过ε的概率不会超过方差σ²除以ε²。

  1. 涉及多个随机变量的数字特征

a) 协方差：理解协方差的定义和性质，掌握协方差的计算。

b) 相关系数：理解相关系数的定义和性质，掌握有关计算。正确理解不相关和独立的联系与区别。知道线性相关系数为 1 或-1 时的概率含义。

当涉及到协方差和相关系数时，以下是它们的公式：

协方差（Covariance）的公式：
$$
\text{Cov}(X, Y) = E\left[(X - \mu_X)(Y - \mu_Y)\right]=E(XY)-E(X)E(Y)
$$
相关系数（Correlation coefficient）的公式：
$$

$$
其中，$\text{Cov}(X, Y)$ 表示随机变量X和Y的协方差，$\mu_X 和 \mu_Y$ 分别是X和Y的均值(期望)，($\sigma_X$) 和 ($\sigma_Y$) 分别是X和Y的标准差。($\rho(X, Y)$) 表示随机变量X和Y的相关系数。

c) 条件数学期望：理解定义和有关计算，掌握全（重）期望公式，包括随机和（指求和的随机变量的个数为某随机变量）的期望。
$$
E(X) = E(X|B) \cdot P(B) + E(X|B^c) \cdot P(B^c)
$$

四、 常见的概率分布

离散型分布

a) 二项分布：分布列，期望、方差。
b) 几何分布：分布列，期望、方差，无记忆性。
c) 泊松分布：分布列，期望、方差，泊松定理（特殊二项分布的泊松近似）。

当二项分布中的试验次数n趋向于无穷大，且成功概率p趋向于0，但同时满足np接近一个常数λ时，二项分布可以近似为泊松分布。

d) 负二项分布：定义，与几何分布的关系，期望，方差。

定义：单次成功概率为p成功次数达r时失败次数的离散概率分布。注意当r取1时即为几何分布

分布 分布列 期望 方差
二项分布 $P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$ $np$ $np(1-p)$
几何分布 $P(X=k) = (1-p)^{k-1} p$ $\frac{1}{p}$ $\frac{1-p}{p^2}$
泊松分布 $P(X=k) = \frac{e^{-\lambda} \lambda^k}{k!}$ $\lambda$ $\lambda$
负二项分布 $P(X=k+r) = \binom{k+r-1}{r-1} p^r (1-p)^{k}$ $\frac{r}{p}$ $\frac{r(1-p)}{p^2}$

连续型分布

a) 均匀分布：一维均匀分布的分布函数、概率密度、期望和方差；多维均匀分布与几何概型的关系。
b) 指数分布：分布函数、概率密度、期望、方差，无记忆性。
c) 正态分布：一维正态分布的概率密度、期望、方差、标准化；二维正态分布的概率密度及参数的概率含义。正态分布的独立可加性，二元正态分布随机变量相互独立和不相关等价的性质。

五、 极限定理

  1. （伯努利、切比雪夫）（弱）大数定律，依概率收敛的定义，利用切比雪夫不等式验证依概率收敛。

    伯努利大数定律：伯努利实验中，随着试验次数增加，频率落在概率附近的概率趋于1

    切比雪夫大数定律：利用切比雪夫不等式，两两不相关的随机变量序列，方差有界，随着序列项数增加，随机变量均值落在期望附近的概率趋于1

    切比雪夫的

    image-20230607163414308

    $$Var(\frac 1 n \sum X_k)\rarr0$$为马尔可夫条件

    依概率收敛

    当一个随机变量序列以概率1逐渐接近另一个随机变量时，我们称该序列依概率收敛于该随机变量。

  2. 中心极限定理（掌握独立同分布情形 De Moivre-Laplace，林德伯格-勒维）及应用

    中心极限定理

    $X_1, X_2, \ldots, X_k$是独立同分布（iid）
    $$
    X_1+X_2+ \ldots+X_k\overset{.}{\sim}N(n\mu,n\sigma^2)\
    \frac {X_1+X_2+ \ldots+X_k -n\mu}{\sigma\sqrt n}\overset{.}{\sim}N(0,1)
    $$
    一般地,$b(n,p)\overset{.}{\sim}N(np,npq)$



本文总阅读量次