统计2：参数点估计

参数估计:就是用样本来估计总体分布的参数$\theta$
$$
\hat\theta=\theta(X_1,X_2,\ldots,X_n)
$$
加一个hat,i.e$.\hat \theta$,就表示估计

两种最常用的点估计方法是矩估计和极大似然估计

矩估计

就是用样本矩估计理论矩

基本方法:

• $$
  E(X)=\mu\simeq\bar x
  $$

• $$
  Var(x)=\sigma^2\simeq S^2=\frac 1 {n-1} \sum \limits_{i=1}^n(x-\bar x)^2
  $$

极大似然估计

基于一个简单的思想：寻找最有可能产生观测数据的参数值。

设总体概率函数为$p(x;\theta),\theta$为参数，$x_1,x_2,\ldots,x_k$为样本,则样本联合概率分布函数$L(\theta)=\prod\limits_{k=1}^np(x_k;\theta)$,我们找到$\hat\theta$使得$L(\theta)$取得最大值

操作上,由于对连乘求导不方便,我们常常对L(θ)取对数得到$l(\theta)$

卡方分布

假设$X_1, X_2, \ldots, X_k$是独立同分布（iid）的标准正态分布（即均值为0，方差为1），那么定义随机变量($Y = X_1^2 + X_2^2 + \ldots + X_k^2$)，则(Y)服从自由度为(k)的卡方分布。

数学公式表示为：
$Y \sim \chi^2(k)$

其中，X是符合卡方分布的随机变量，k是自由度。

t分布（t-distribution）

假设X是来自标准正态分布的随机变量，Y是来自卡方分布的自由度为k的随机变量（独立于X），则定义随机变量$T = \frac{X}{\sqrt {Y/k} }$，则T服从自由度为k的t分布。

数学公式表示为： $T \sim t(k)$

其中，T是符合t分布的随机变量，k是自由度。

F分布（F-distribution）

假设Y1是来自自由度为k1的卡方分布的随机变量，Y2是来自自由度为k2的卡方分布的随机变量（两者独立），则定义随机变量$F = \frac{ {Y1}/{k1} } { {Y2}/ {k2} }$，则F服从自由度为k1和k2的F分布。

数学公式表示为： $F \sim F(k1, k2)$

其中，F是符合F分布的随机变量，k1和k2是自由度。