《Deep Learning Series》
  • 深耕系列之深度学习笔记
  • 第一章 Linux学习环境相关配置
    • 1.1 Ubuntu18下有道词典的配置
    • 1.2 Ubuntu18 安装Gitbook
    • 1.3 Ubuntu18 git命令使用总结
    • 1.4 Latex 排版使用笔记
    • 1.5 Ubuntu下常用工具软件配置安装
    • 1.6 win10+ubuntu双系统修复ubuntu启动引导
    • 1.7 gitbook 插件等相关设置
    • 1.8 深度学习环境搭建
    • 1.9 hexo 实现本地图片加载
    • 1.10 hexo网页定制
    • 1.11 sublime text3插件介绍
    • 1.12 vsftpd.conf文件配置
    • 1.13 mysql 笔记
    • 1.14 ubuntu16_18安装peek工具录制gif
    • 1.15 ubuntu下goldendict有道爬虫小程序
    • 1.16 ubuntu18升级后部分应用不能中文输入的问题
    • 1.17 ubuntu下安装有道词典
    • 1.18 opencv 安装
    • 1.19 gym_gazabe安装配置
    • 1.20 docker 基础
    • 1.21 docker_配置权限问题
    • 1.22 jupyternotebook使用
  • 第二章 深度学习相关基础算法
    • 2.1 马尔科夫链
      • 2.1.1 马尔科夫简单模型预测实战笔记
      • 2.1.2 最大熵模型
      • 2.1.3 隐马尔科夫HMM
    • 2.2 矩阵相关基础知识
    • 2.3 线性回归
    • 2.4 决策树
    • 2.5 梯度下降和最小二乘法
    • 2.6 递归算法与迭代算法
    • 2.7 神经网络浅学笔记
    • 2.8 强化学习经验回放
    • 2.9 K近邻算法
    • 2.10 朴素贝叶斯法
    • 2.11 极大似然估计
    • 2.12 logistic regression
  • 第三章 深度学习框架学习
    • 3.1 PyTorch 学习
      • 3.1.2 Pytorch 之MNIST手写字识别分类
    • 3.2 tensorflow学习笔记
      • 3.2.1 tensorflow之MNIST
    • 3.3 matplotlib函数
    • 3.4 numpy函数
  • 第四章 ROS机器人
    • ROS室内仿真环境.md
    • ros and gazebo and gym_gazebo安装
    • ubuntu16 安装gym-gazebo
    • gym-gazebo安装后的测试
    • 基于DQN的gym_gazebo运行代码演示
  • 项目开发
    • Library占座小工具使用手册
  • 附录
    • Python 相关笔记
      • Python 帮助文档检索方法
      • Module篇使用future
    • Git 相关配置
      • git-推送新的文章到github其他分支上
      • gitignre 配置
      • gitignre 配置
      • Hexo 每次写好后deploy博客
      • MFC Socket 通信
      • python之tkinter入坑Pack
      • ubuntu 中安装sublime_text3
      • ubuntu18-正确-安装ShadowSocket
      • vultr+freenom实现主机域名的绑定.md
      • 值得收藏的网站
      • 搜索技巧
      • 第一篇博文
      • 简单的方法,越过付费获取在线的log设计.md
      • 网页设计基础笔记.md
      • 解决Chrome67版本以后不能离线安装插件的情况.md
    • 嵌入式相关笔记
      • STM32串口通信配置
      • STM32复位及通过函数判断是何种条件出发的复位
Powered by GitBook
On this page
  • 摘要
  • 原理:
  • 举个例子
  • 贝叶斯的参数估计
  • 先验概率的极大似然估计
  • 条件概率极大似然估计
  • 参考

Was this helpful?

  1. 第二章 深度学习相关基础算法

2.11 极大似然估计

Previous2.10 朴素贝叶斯法Next2.12 logistic regression

Last updated 5 years ago

Was this helpful?

摘要

极大似然估计,

原理:

举个例子

由于样本集中的样本都是独立同分布,可以只考虑一类样本集D,来估计参数向量θ。记已知的样本集为:

如果 $\hat{\theta}$是参数空间中能使似然函数$l(\theta)$最大的θ值,$\hat{\theta}$则应该是“最可能”的参数值,那么 $\hat{\theta}$ 就是θ的极大似然估计量。它是样本集的函数,记作:

贝叶斯的参数估计

先验概率的极大似然估计

I 为指示函数,上式的分子,表示$y{i}=c{k}$时的统计次数,分母表示一共有多少个样本。

条件概率极大似然估计

参考

D=x1,x2,...,xND={x_{1}, x_{2},..., x_{N}}D=x1​,x2​,...,xN​

似然函数(linkehood function):联合概率密度函数$P(D|\theta )$称为相对于x1,x2,...,xN{x_{1}, x_{2},..., x_{N}}x1​,x2​,...,xN​的$\theta$的似然函数。

l(θ)=P(D∣θ)=P(x1,x2,...,xN∣θ)=∏i=1NP(xi∣θ)l(\theta)=P(D|\theta)=P(x_{1}, x_{2},...,x_{N}|\theta)=\prod _{i=1}^{N}P(x_{i}|\theta)l(θ)=P(D∣θ)=P(x1​,x2​,...,xN​∣θ)=i=1∏N​P(xi​∣θ)

θ^=d(x1,x2,...,xxN)=d(D)\hat{\theta}=d(x_{1},x_{2},...,xx_{N})=d(D)θ^=d(x1​,x2​,...,xxN​)=d(D)

θ(x1,x2,...,xxN)\theta(x_{1},x_{2},...,xx_{N})θ(x1​,x2​,...,xxN​),称为极大似然估计值

P(Y=ck)=∑Ni=1I(yi=ck)N,k=1,2,...,KP(Y=c_{k})=\frac{\sum_{N}^{i=1}I(y_{i}=c_{k})}{N},k=1,2,...,KP(Y=ck​)=N∑Ni=1​I(yi​=ck​)​,k=1,2,...,K
P(Xj=ajl∣Y=ck)=∑i=1NI(xij=ajl,yi=ck)∑i=1NI(yi=ck),j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{j}=a_{jl}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl},y_{i}=c_{k})}{\sum_{i=1}^{N}I(y_{i}=c_{k})}, j=1,2,...,n;l=1,2,..,S_{j};k=1,2,...,KP(Xj=ajl​∣Y=ck​)=∑i=1N​I(yi​=ck​)∑i=1N​I(xij​=ajl​,yi​=ck​)​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K

参考文献1: 参考文档来源2:

鹏大大大-CSDN
李航-极大似然估计
摘要
原理:
举个例子
贝叶斯的参数估计
先验概率的极大似然估计
条件概率极大似然估计
参考
极大似然估计