> For the complete documentation index, see [llms.txt](https://porter.gitbook.io/deep-learning-series/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://porter.gitbook.io/deep-learning-series/index-1/2.11-ji-da-si-ran-gu-ji.md).

# 2.11 极大似然估计

## 摘要

极大似然估计,

* [摘要](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#摘要)
  * [原理：](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#原理)
  * [举个例子](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#举个例子)
* [贝叶斯的参数估计](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#贝叶斯的参数估计)
  * [先验概率的极大似然估计](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#先验概率的极大似然估计)
  * [条件概率极大似然估计](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#条件概率极大似然估计)
* [参考](https://porter.gitbook.io/deep-learning-series/index-1/pages/-Lbw3eD9xnBANUuzm1z0#参考)

### 原理：

* [ ] 极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。
* [ ] 极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。
* [ ] 通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。
* [x] Edit By Porter, 积水成渊,蛟龙生焉。

![极大似然估计](https://1930597982-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-LV7JLvsYnG7y7A2o-vp%2F-LcfbENVc3lkcEa-Vw7Z%2F-LcfbFshlFds_VZR5evO%2Fjidasiran.jpeg?generation=1555509875841266\&alt=media)

### 举个例子

由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：

$$D={x\_{1}, x\_{2},..., x\_{N}}$$

似然函数（linkehood function）：联合概率密度函数$P(D|\theta )$称为相对于$${x\_{1}, x\_{2},..., x\_{N}}$$的$\theta$的似然函数。

$$
l(\theta)=P(D|\theta)=P(x\_{1}, x\_{2},...,x\_{N}|\theta)=\prod *{i=1}^{N}P(x*{i}|\theta)
$$

如果 $\hat{\theta}$是参数空间中能使似然函数$l(\theta)$最大的θ值，$\hat{\theta}$则应该是“最可能”的参数值，那么 $\hat{\theta}$ 就是θ的极大似然估计量。它是样本集的函数，记作：

$$\hat{\theta}=d(x\_{1},x\_{2},...,xx\_{N})=d(D)$$

$$\theta(x\_{1},x\_{2},...,xx\_{N})$$,称为极大似然估计值

## 贝叶斯的参数估计

### 先验概率的极大似然估计

$$
P(Y=c\_{k})=\frac{\sum\_{N}^{i=1}I(y\_{i}=c\_{k})}{N},k=1,2,...,K
$$

I 为指示函数，上式的分子，表示$y*{i}=c*{k}$时的统计次数，分母表示一共有多少个样本。

### 条件概率极大似然估计

$$
P(X^{j}=a\_{jl}|Y=c\_{k})=\frac{\sum\_{i=1}^{N}I(x\_{i}^{j}=a\_{jl},y\_{i}=c\_{k})}{\sum\_{i=1}^{N}I(y\_{i}=c\_{k})}, j=1,2,...,n;l=1,2,..,S\_{j};k=1,2,...,K
$$

## 参考

参考文献1：[鹏大大大-CSDN](https://blog.csdn.net/qq_39355550/article/details/81809467) 参考文档来源2:[李航-极大似然估计](/deep-learning-series/index-1/2.11-ji-da-si-ran-gu-ji.md)