摘要
极大似然估计,
原理：
举个例子
由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
D=x1,x2,...,xN
似然函数（linkehood function）：联合概率密度函数$P(D|\theta )$称为相对于x1,x2,...,xN的$\theta$的似然函数。
l(θ)=P(D∣θ)=P(x1,x2,...,xN∣θ)=i=1∏NP(xi∣θ) 如果 $\hat{\theta}$是参数空间中能使似然函数$l(\theta)$最大的θ值，$\hat{\theta}$则应该是“最可能”的参数值，那么 $\hat{\theta}$ 就是θ的极大似然估计量。它是样本集的函数，记作：
θ^=d(x1,x2,...,xxN)=d(D)
θ(x1,x2,...,xxN),称为极大似然估计值
贝叶斯的参数估计
先验概率的极大似然估计
P(Y=ck)=N∑Ni=1I(yi=ck),k=1,2,...,K I 为指示函数，上式的分子，表示$y{i}=c{k}$时的统计次数，分母表示一共有多少个样本。
条件概率极大似然估计
P(Xj=ajl∣Y=ck)=∑i=1NI(yi=ck)∑i=1NI(xij=ajl,yi=ck),j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,K 参考
