《Deep Learning Series》
  • 深耕系列之深度学习笔记
  • 第一章 Linux学习环境相关配置
    • 1.1 Ubuntu18下有道词典的配置
    • 1.2 Ubuntu18 安装Gitbook
    • 1.3 Ubuntu18 git命令使用总结
    • 1.4 Latex 排版使用笔记
    • 1.5 Ubuntu下常用工具软件配置安装
    • 1.6 win10+ubuntu双系统修复ubuntu启动引导
    • 1.7 gitbook 插件等相关设置
    • 1.8 深度学习环境搭建
    • 1.9 hexo 实现本地图片加载
    • 1.10 hexo网页定制
    • 1.11 sublime text3插件介绍
    • 1.12 vsftpd.conf文件配置
    • 1.13 mysql 笔记
    • 1.14 ubuntu16_18安装peek工具录制gif
    • 1.15 ubuntu下goldendict有道爬虫小程序
    • 1.16 ubuntu18升级后部分应用不能中文输入的问题
    • 1.17 ubuntu下安装有道词典
    • 1.18 opencv 安装
    • 1.19 gym_gazabe安装配置
    • 1.20 docker 基础
    • 1.21 docker_配置权限问题
    • 1.22 jupyternotebook使用
  • 第二章 深度学习相关基础算法
    • 2.1 马尔科夫链
      • 2.1.1 马尔科夫简单模型预测实战笔记
      • 2.1.2 最大熵模型
      • 2.1.3 隐马尔科夫HMM
    • 2.2 矩阵相关基础知识
    • 2.3 线性回归
    • 2.4 决策树
    • 2.5 梯度下降和最小二乘法
    • 2.6 递归算法与迭代算法
    • 2.7 神经网络浅学笔记
    • 2.8 强化学习经验回放
    • 2.9 K近邻算法
    • 2.10 朴素贝叶斯法
    • 2.11 极大似然估计
    • 2.12 logistic regression
  • 第三章 深度学习框架学习
    • 3.1 PyTorch 学习
      • 3.1.2 Pytorch 之MNIST手写字识别分类
    • 3.2 tensorflow学习笔记
      • 3.2.1 tensorflow之MNIST
    • 3.3 matplotlib函数
    • 3.4 numpy函数
  • 第四章 ROS机器人
    • ROS室内仿真环境.md
    • ros and gazebo and gym_gazebo安装
    • ubuntu16 安装gym-gazebo
    • gym-gazebo安装后的测试
    • 基于DQN的gym_gazebo运行代码演示
  • 项目开发
    • Library占座小工具使用手册
  • 附录
    • Python 相关笔记
      • Python 帮助文档检索方法
      • Module篇使用future
    • Git 相关配置
      • git-推送新的文章到github其他分支上
      • gitignre 配置
      • gitignre 配置
      • Hexo 每次写好后deploy博客
      • MFC Socket 通信
      • python之tkinter入坑Pack
      • ubuntu 中安装sublime_text3
      • ubuntu18-正确-安装ShadowSocket
      • vultr+freenom实现主机域名的绑定.md
      • 值得收藏的网站
      • 搜索技巧
      • 第一篇博文
      • 简单的方法,越过付费获取在线的log设计.md
      • 网页设计基础笔记.md
      • 解决Chrome67版本以后不能离线安装插件的情况.md
    • 嵌入式相关笔记
      • STM32串口通信配置
      • STM32复位及通过函数判断是何种条件出发的复位
Powered by GitBook
On this page
  • 摘要
  • 贝叶斯公式
  • 朴素贝叶斯基本方法(X,Y 独立同分布)
  • 公式概念
  • 朴素贝叶斯的表达式
  • 朴素贝叶斯分类器
  • 贝叶斯估计
  • 条件概率贝叶斯估计
  • 先验概率的贝叶斯估计
  • 参考

Was this helpful?

  1. 第二章 深度学习相关基础算法

2.10 朴素贝叶斯法

摘要

朴素贝叶斯方法是基于贝叶斯定理与条件假设的分类方法

贝叶斯公式

p(c∣x)=p(x∣c)P(c)P(x)p(c|x)= \frac{p(x|c)P(c)}{P(x)}p(c∣x)=P(x)p(x∣c)P(c)​

朴素贝叶斯基本方法(X,Y 独立同分布)

训练数据集T:

T=(x1,y1),(x2,y2),...,(xN,yN),T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N}),}T=(x1​,y1​),(x2​,y2​),...,(xN​,yN​),

由P(x,y)P(x,y)P(x,y)独立同分布产生.

P(Y=ck∣X=x)=P(X=x∣Y=ck)P(Y=ck)∑kP(X=x∣Y=ck)P(Y=ck)P(Y=c_{k}|X=x)=\frac{P(X=x|Y=c_{k})P(Y=c_{k})}{\sum_{k}^{}P(X=x|Y=c_{k})P(Y=c_{k}) }P(Y=ck​∣X=x)=∑k​P(X=x∣Y=ck​)P(Y=ck​)P(X=x∣Y=ck​)P(Y=ck​)​

公式概念

  • 联合概率分布

P(X,Y)P(X,Y)P(X,Y) 是独立同分布产生的联合概率分布。

  • 先验概率分布

P(Y=ck),k=1,2,3,...,kP(Y=c_{k}),k=1,2,3,...,kP(Y=ck​),k=1,2,3,...,k

  • 条件概率分布

P(X=x∣Y=ck)=P(X1=x1,X2=x2,...XN=xN∣Y=ck),k=1,2,3,...,kP(X=x|Y=c_{k}) = P(X^{1}=x^{1},X^{2}=x^{2},...X^{N}=x^{N}|Y=c_{k}) , k=1,2,3,...,kP(X=x∣Y=ck​)=P(X1=x1,X2=x2,...XN=xN∣Y=ck​),k=1,2,3,...,k

  • 后验概率分布

P(Y=ck∣X=x)P(Y=c_{k}|X=x)P(Y=ck​∣X=x)

朴素贝叶斯的表达式

由于朴素二字的前提是独立特征分布概率,所以条件独立假设为(条件概率)为:

P(X=x∣Y=ck)=P(X1=x1,X2=x2,...,Xn=xn∣Y=ck)P(X=x|Y=c_{k})=P(X^{1}=x^{1},X^{2}=x^{2},...,X^{n}=x^{n}|Y=c_{k})P(X=x∣Y=ck​)=P(X1=x1,X2=x2,...,Xn=xn∣Y=ck​) =∏j=1nP(Xj=xj∣Y=ck)=\prod _{j=1}^{n}P(X^{j}=x^{j}|Y=c_{k})=∏j=1n​P(Xj=xj∣Y=ck​)

朴素贝叶斯实际上是学习到生成数据的机制,所以属于生成学习模型

朴素贝叶斯分类器

于是朴素贝叶斯分类器可表示为:

y=f(x)=arg  maxckP(Y=ck)∏jP(Xj=xj∣y=ck)∑kP(Y=ck)∏jP(Xj=xj∣Y=ck)y=f(x)=arg\;max_{c_{k}}\frac{P(Y=c_{k})\prod_{j} P(X^{j}=x^{j}|y=c_{k})}{\sum_{k}^{}P(Y=c_{k})\prod_{j}P(X^{j}=x^{j}|Y=c_{k}) }y=f(x)=argmaxck​​∑k​P(Y=ck​)∏j​P(Xj=xj∣Y=ck​)P(Y=ck​)∏j​P(Xj=xj∣y=ck​)​

由于上式分母对ckc_{k}ck​,都是相同的,所以分类器的输出y又可以是:

y=f(x)=arg  maxckP(Y=ck)∏jP(Xj=xj∣y=ck)y=f(x)=arg\;max_{c_{k}}P(Y=c_{k})\prod_{j} P(X^{j}=x^{j}|y=c_{k})y=f(x)=argmaxck​​P(Y=ck​)∏j​P(Xj=xj∣y=ck​)

贝叶斯估计

条件概率贝叶斯估计

P(Xj=ajl∣Y=ck)=∑i=1NI(xij=ajl,yi=ck)+λ∑i=1NI(yi=ck)+Sjλ,j=1,2,...,n;l=1,2,..,Sj;k=1,2,...,KP(X^{j}=a_{jl}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl},y_{i}=c_{k})+\lambda }{\sum_{i=1}^{N}I(y_{i}=c_{k})+S_{j}\lambda }, j=1,2,...,n;l=1,2,..,S_{j};k=1,2,...,KP(Xj=ajl​∣Y=ck​)=∑i=1N​I(yi​=ck​)+Sj​λ∑i=1N​I(xij​=ajl​,yi​=ck​)+λ​,j=1,2,...,n;l=1,2,..,Sj​;k=1,2,...,K

先验概率的贝叶斯估计

P(Y=ck)=∑Ni=1I(yi=ck)+lambdaN+kλ,k=1,2,...,KP(Y=c_{k})=\frac{\sum_{N}^{i=1}I(y_{i}=c_{k})+lambda }{N+k\lambda },k=1,2,...,KP(Y=ck​)=N+kλ∑Ni=1​I(yi​=ck​)+lambda​,k=1,2,...,K

参考

Previous2.9 K近邻算法Next2.11 极大似然估计

Last updated 5 years ago

Was this helpful?

参考文档来源2:

李航-朴素贝叶斯