2.11 极大似然估计

摘要

极大似然估计,

• 摘要

  • 原理：

  • 举个例子

• 贝叶斯的参数估计

  • 先验概率的极大似然估计

  • 条件概率极大似然估计

• 参考

原理：

• 极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。

• 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。

• 通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

• Edit By Porter, 积水成渊,蛟龙生焉。

极大似然估计

举个例子

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：

$D={x_{1}, x_{2},..., x_{N}}$

似然函数（linkehood function）：联合概率密度函数$P(D|\theta )$称为相对于${x_{1}, x_{2},..., x_{N}}$的$\theta$的似然函数。

$$l(\theta)=P(D|\theta)=P(x_{1}, x_{2},...,x_{N}|\theta)=\prod _{i=1}^{N}P(x_{i}|\theta)$$

如果 $\hat{\theta}$是参数空间中能使似然函数$l(\theta)$最大的θ值，$\hat{\theta}$则应该是“最可能”的参数值，那么 $\hat{\theta}$ 就是θ的极大似然估计量。它是样本集的函数，记作：

$\hat{\theta}=d(x_{1},x_{2},...,xx_{N})=d(D)$

$\theta(x_{1},x_{2},...,xx_{N})$,称为极大似然估计值

贝叶斯的参数估计

先验概率的极大似然估计

$$P(Y=c_{k})=\frac{\sum_{N}^{i=1}I(y_{i}=c_{k})}{N},k=1,2,...,K$$

I 为指示函数，上式的分子，表示$y{i}=c{k}$时的统计次数，分母表示一共有多少个样本。

条件概率极大似然估计

$$P(X^{j}=a_{jl}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl},y_{i}=c_{k})}{\sum_{i=1}^{N}I(y_{i}=c_{k})}, j=1,2,...,n;l=1,2,..,S_{j};k=1,2,...,K$$

参考

参考文献1：鹏大大大-CSDN 参考文档来源2:李航-极大似然估计