2.10 朴素贝叶斯法

摘要

朴素贝叶斯方法是基于贝叶斯定理与条件假设的分类方法

• [1] 特征条件独立假设，求输入/出的联合概率分布d

• [2] 利用贝叶斯定理求出最大后验概率

• Edit By Porter, 积水成渊,蛟龙生焉。

贝叶斯公式

$p(c|x)= \frac{p(x|c)P(c)}{P(x)}$

朴素贝叶斯基本方法(X,Y 独立同分布)

训练数据集T:

$T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N}),}$

由$P(x,y)$独立同分布产生.

$P(Y=c_{k}|X=x)=\frac{P(X=x|Y=c_{k})P(Y=c_{k})}{\sum_{k}^{}P(X=x|Y=c_{k})P(Y=c_{k}) }$

公式概念

• 联合概率分布

$P(X,Y)$ 是独立同分布产生的联合概率分布。

• 先验概率分布

$P(Y=c_{k}),k=1,2,3,...,k$

• 条件概率分布

$P(X=x|Y=c_{k}) = P(X^{1}=x^{1},X^{2}=x^{2},...X^{N}=x^{N}|Y=c_{k}) , k=1,2,3,...,k$

• 后验概率分布

$P(Y=c_{k}|X=x)$

朴素贝叶斯的表达式

由于朴素二字的前提是独立特征分布概率，所以条件独立假设为(条件概率)为：

$P(X=x|Y=c_{k})=P(X^{1}=x^{1},X^{2}=x^{2},...,X^{n}=x^{n}|Y=c_{k})$ $=\prod _{j=1}^{n}P(X^{j}=x^{j}|Y=c_{k})$

朴素贝叶斯实际上是学习到生成数据的机制，所以属于生成学习模型

朴素贝叶斯分类器

于是朴素贝叶斯分类器可表示为:

$y=f(x)=arg\;max_{c_{k}}\frac{P(Y=c_{k})\prod_{j} P(X^{j}=x^{j}|y=c_{k})}{\sum_{k}^{}P(Y=c_{k})\prod_{j}P(X^{j}=x^{j}|Y=c_{k}) }$

由于上式分母对$c_{k}$，都是相同的，所以分类器的输出y又可以是：

$y=f(x)=arg\;max_{c_{k}}P(Y=c_{k})\prod_{j} P(X^{j}=x^{j}|y=c_{k})$

贝叶斯估计

条件概率贝叶斯估计

$$P(X^{j}=a_{jl}|Y=c_{k})=\frac{\sum_{i=1}^{N}I(x_{i}^{j}=a_{jl},y_{i}=c_{k})+\lambda }{\sum_{i=1}^{N}I(y_{i}=c_{k})+S_{j}\lambda }, j=1,2,...,n;l=1,2,..,S_{j};k=1,2,...,K$$

先验概率的贝叶斯估计

$$P(Y=c_{k})=\frac{\sum_{N}^{i=1}I(y_{i}=c_{k})+lambda }{N+k\lambda },k=1,2,...,K$$

参考

参考文档来源2:李航-朴素贝叶斯