贝叶斯分类器
Contents
贝叶斯分类器#
在参考资料 [1] 中,有专门讲解贝叶斯定理的章节,在此就不对此定理的具体内容进行阐述,下面仅列出定理的表达式:
贝叶斯定理#
定理: 如果事件 \(A_1,A_2,\cdots,A_n\) 互不相容, \(B\subset\cup_{j=1}^nA_j\) ,则 \(P(B)\gt0\) 时,有:
其中 \(1\le j\le n\) 。
对于分类问题,假设有 \(K\) 种类别标签,即 \({\cal{Y}}=\{c_1,c_2,\cdots,c_K\}\) (对应于(1)式中的互不相容的事件 \(A_j\) )。对于样本 \(\pmb{x}\) ,要计算 \(P(c_j|\pmb{x})\) ,根据(1)式,有:
其中:
\(P(c_j)\) 是先验概率。当训练集中包含充足的独立同分布样本时,可以用各类样本出现的频率估计此概率。
\(P(\pmb{x}|c_j)\) 是样本 \(\pmb{x}\) 相对类别 \(c_j\) 的条件概率,称为“似然”。
注意: 有的资料中认为 \(P(\pmb{x}|c_j)\) 可以用频率来估计\(^{[2]}\) ,实则不然,参考资料 [3] 中对这个问题的完整说明。假设样本有 \(d\) 个特征,并且都是二值类型的数据,那么样本空间所有可能取值为 \(2^d\) 个。在现实应用中,这个值往往远大于训练集的样本数。也就是,很多样本取值在训练集中根本没有出现。“未被观测到”与“出现概率为零”通常是不同的,所以,不能用频率来估计概率 \(P(\pmb{x}|c_j)\) 。
如果从概率的角度来看,得到的训练集样本都具有随机性,如果要能够用频率估计概率,必须满足样本与总体是同分布的。但是,在样本数不是很充足的时候,就不能满足。所以,对于似然,不能用频率来估计。
\(P(\pmb{x})\) 与类别无关,对于一个训练集而言,它是一个常量。从(1)式中,分母对一个试验而言,是一个常量。所以,(2)式可以转化为:
\[ P(c_j|\pmb{x})\propto\!P(c_j)P(\pmb{x}|c_j)\tag{3} \]由此可以,如果能够得到似然 \(P(\pmb{x}|c_j)\) 的值,就可以根据(3)式得到后验概率 \(P(c_j|\pmb{x})\) 的值,从而能够判断出样本所属的类别。
如何计算(3)式中的似然 \(P(\pmb{x}|c_j)\) ,一种常用方法就是最大似然估计。
最大似然估计#
在参考资料 [1] 中第6.2.1节,专门讲解了最大似然估计,这里使用其中的结论。
按照如下步骤计算 \(P(\pmb{x}|c_j)\) :
假设样本数据独立同分布,且为某种概率分布,但是不知道此概率分布的参数。
根据训练集样本数据,对概率分布的参数进行估计。假设 \(P(\pmb{x}|c_j)\) 的概率分布的参数向量是 \(\pmb{\theta}\)
根据参考资料 [1] 中的结论,可以得到如下似然:
其中:\(\pmb{X}_{c_j}\) 是数据集中类别为 \(c_j\) 的样本集合。
在具体计算的时候,可以对(4)式取对数。例如参考资料 [1] 的358页中给出了对于数据符合正态分布的参数 \(\mu\) 和 \(\sigma^2\) (总体均值和方差)的估计。
设总体 \(X \sim N(\mu,\sigma^2)\) (正态分布),\(\mu、\sigma^2\) 是未知参数,\(x_1,\cdots,x_n\) 是来自 \(X\) 的样本值,求 \(\mu、\sigma^2\) 的最大似然估计值。
写出 \(X\) 的概率密度函数:\(f(x;\mu, \sigma^2) = \frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^2\right)\)
写出似然函数(4)式:
\[ L = \prod_{i=1}^n\frac{1}{\sigma\sqrt{2\pi}}\exp\left(-\frac{1}{2\sigma^2}(x_i-\mu)^2\right)=(2\pi)^{-\frac{n}{2}}(\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right) \]对上式取对数
\[ \log L = -\frac{n}{2}\log(2\pi) - \frac{n}{2}\log\sigma^2-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2 \]将 \(\log L\) 分别对 \(\mu\) 和 \(\sigma^2\) 求偏导数,并令其为 \(0\) (注意,\(\sigma^2\) 视作一个整体)
\[\begin{split} \begin{cases}\frac{\partial}{\partial \mu}\log L &= \frac{1}{\sigma^2}(\sum_{i=1}^nx_i - n\mu)=0 \\ \frac{\partial}{\partial\sigma^2}\log L &= -\frac{n}{2\sigma^2}+ \frac{1}{2(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2=0 \end{cases} \end{split}\]解方程组,分别得到 \(\mu\) 和 \(\sigma^2\) 的极大似然估计
\[\begin{split} \begin{split}\hat\mu &= \frac{1}{n}\sum_{i=1}^nx_i=\overline x \\ \hat\sigma^2 &= \frac{1}{n}\sum_{i=1}^n(x_i-\overline x)^2\end{split}\quad(5) \end{split}\]
在参考资料 [1] 中还以预测足球队比赛胜负概率为例,详细介绍了最大似然估计的应用。请参阅。
朴素贝叶斯分类器#
如果进一步假设“特征相互独立”,即每个特征独立地对分类结果产生影响。
假设一个样本 \(\pmb{x}\) 有 \(d\) 个特征,即: \(\pmb{x}=[x_1,x_2,\cdots,x_d]\) ,则条件概率为:
将(6)式代入到(2)式,则:
对于(7)式中的先验概率 \(P(c_j)\) ,按照之前所讲,可以用该类别样本数量占全体数据集样本数量的比例来估计,即用频率估计概率,用下面的方式表示:
- \[ P(c_j)=\frac{1}{K}\sum_{i=1}^KI(y_i=c_j),~(j=1,2\cdots,n)\tag{8} \]
其中 \(I(\cdot)\) 表示函数:\(\displaystyle{I=\begin{cases}&1,(y=c)\\&0,(others)\end{cases}}\) 。
对于 \(\prod_{i=1}^dP(x_i|c_j)\) ,则是利用(4)式的最大似然估计计算。针对不同的概率分布,分别有不同的计算结果。
高斯朴素贝叶斯分类器#
即特征的条件概率分布满足高斯分布:
伯努利朴素贝叶斯分类器#
即特征的条件概率分布满足伯努利分布:
对(8)式和(9)式,利用最大似然估计,均可以估计到其中的参数,从而得到条件概率 \(P(x_i|c_j)\) ,最大似然估计的方法见参考资料 [1] 。
最大后验估计\(^{[1]}\)#
前面用最大似然估计,能够计算出条件概率,在利用(2)式,得到后验概率。这种方法,背后隐藏着一个基本观点,即认为分布的总体参数虽然未知,但是它是客观存在的一个固定值,因此可以通过优化似然函数获得。这就是所谓的频率主义学派的观点。
此外,还有另外一种观点,把参数也看成随机变量,它们也有一定的分布。于是就可以假定参数服从某种分布,即所谓先验分布。然后基于观测到的数据,计算参数的后验分布。并且获得的数据越多,后验分布可以得到不断的修正。持这种观点的人,也形成了一个学派,就是贝叶斯统计学。
贝叶斯学派强调“观察者”所掌握的知识(即对被观察对象的认识)。如果“观察者”知识完备,则能准确而唯一的判断事件的结果,不需要概率。
对于先验分布,假设为参数 \(\theta_1,\cdots,\theta_k\) ,在已有的认识中,这些参数具有某种规律,设概率密度函数为 \(g(\theta_1,\cdots,\theta_k)\) (简写为 \(g(\pmb{\theta})\) 。此处以连续型分布为例,如果是离散型,可记作 \(p(\theta_1, \cdots, \theta_k)\) )。
先验分布 \(g(\theta_1,\cdots,\theta_k)\) 中的参数也是未知的(或部分未知)——这就是知识不完备。为了能准确判断,还需要结合观测数据得到的知识,也就是似然函数 \(f(x_1,\cdots,x_n|\theta_1,\cdots,\theta_k)\) ,简写作 \(f(\pmb{x}|\pmb{\theta})\)(如果是离散型,则可写作 \(p(x_1,\cdots,x_n | \theta_1,\cdots,\theta_k)\) )。
然后将先验分布和似然函数,根据(1)式的贝叶斯定理,可得:
\(f(\pmb{\theta}|\pmb{x})\) 就是后验概率或后验分布——“试验之后”。
\(\pmb{\Theta}\) 是 \(g(\pmb{\theta})\) 的值域,且 \(\pmb\theta \in \pmb\Theta\) 。分母 \(\int_{\pmb\Theta}f(\pmb{x}|\pmb\theta)g(\pmb\theta)d\pmb\theta = p(\pmb{x})\) ,是观测到的数据的边缘分布,与 \(\pmb\theta\) 无关,在此相当于一个常数,故:
在(10)式中,似然函数 \(f(\pmb{x}|\pmb\theta)\) 的函数形式可以根据观测数据确定(注意,参数 \(\pmb\theta\) 未知),
那么先验分布 \(g(\pmb\theta)\) 的形式应该如何确定?
在贝叶斯统计学中,如果先验分布 \(g(\pmb\theta)\) 和后验分布 \(f(\pmb\theta|\pmb{x})\) 为同种类型的分布,称它们为共轭分布(conjugate distributions),此时的先验分布称为似然函数 \(f(\pmb{x}|\pmb\theta)\) 的共轭先验(conjugate prior)。
显然,要对后验分布 \(f(\pmb\theta|\pmb{x})\) 求最大值。依据(12)式,进而计算 \(f(\pmb{x}|\pmb\theta)g(\pmb\theta)\) 的最大值,最终得到估计量 \(\hat{\pmb\theta}\) 。
对上式右侧去对数:
这样,通过计算上式的最大值,就得到了参数的估计量 \(\hat{\pmb\theta}_{MAP}\) ,这个估计方法称为最大后验估计(maximum a posteriori estimation,MAP)。
不难看出, \(\displaystyle{arg\max_{\theta_1,\cdots,\theta_k}\sum_{i=1}^n(\log f(x_i|\theta_1,\cdots,\theta_k))}\) 就是最大似然的估计量 \(\hat{\pmb\theta}_{MLE}\) 。所以,我们可以说,\(\log g(\pmb\theta)\) 就是对 \(\hat{\pmb\theta}_{MLE}\) 增加的正则项,此修正来自于我们的主观认识。注意一种特殊情况,如果先验分布式均匀分布,例如 \(g(\theta) = 0.8\) ,那么最大后验估计就退化为最大似然估计了。
下面使用参考资料 [1] 中已经证明的一个结论:
二项分布 \(p(x|\theta)=\begin{pmatrix}n\\x\end{pmatrix}\theta^x(1-\theta)^{n-x}\) 的共轭服从 \(\text{B}\) 分布(Beta 分布),即:
其中 \(\Gamma(\cdot)\) 是 Gamma 函数( \(\Gamma(n) = (n-1)!\) ),\(\alpha\) 和 \(\beta\) 是与样本无关的超参数。
并得到:
即后验分布也是 \(\text{B}\) 分布,与先验分布构成了共轭分布。
并且可以求得:
以上结论见参考资料 [1] 的6.2.3节。
如果,对于 \(\theta\) 的先验估计是 \(\theta_0\) ,可以令:
注意:(17)式是为了后面的目的而凑出来的一种假设,并引入了变量 \(\lambda\) 。
将(17)式代入(16)式,得到:
这就是所谓的拉普拉斯平滑,或曰拉普拉斯修正 。
多项朴素贝叶斯分类器#
即特征的条件概率分布满足多项分布,其参数 \(\theta\) 的估计值就是经过拉普拉斯修正之后的值\(^{[4]}\):
其中 \(\displaystyle{N_{y_i}=\Sigma_{x\in~\!T}}x_i\) 是测试集类别标签为 \(y\) 的样本中,特征 \(i\) 出现的次数。\(N_y=\Sigma_{i=1}^nN_{y_i}\) 是所有类别标签是 \(y\) 的特征数量。
(21)式中的 \(\alpha\) ,称为平滑先验:
若 \(\alpha\ge0\) ,考虑了学习样本中不存在的特征,并防止在进一步计算中出现零概率。
若 \(\alpha=1\) ,称为拉普拉斯平滑。
若 \(\alpha\lt0\) ,称为 Lidstone 平滑。
朴素贝叶斯实现#
使用 scikit-learn 提供的模块实现朴素贝叶斯分类器,网址见参考资料 [4] 。
常见的三种:高斯朴素贝叶斯,伯努利朴素贝叶斯和多项朴素贝叶斯。
高斯朴素贝叶斯#
加载数据
# 加载数据 from sklearn import datasets wine = datasets.load_wine()
了解数据
# 数据集特征(13个) wine.feature_names
# 样本的类别标签(3个) wine.target_names
# 数据集(特征)形状 wine.data.shape
# 查看前2条样本 wine.data[:2]
# 样本标签的值: wine.target
划分数据集
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.3, random_state=20 )
训练模型
# 训练模型 from sklearn.naive_bayes import GaussianNB gnb = GaussianNB() gnb.fit(X_train, y_train)
简单评估
from sklearn import metrics # 预测 y_pred = gnb.predict(X_test) metrics.accuracy_score(y_test, y_pred)
多项朴素贝叶斯#
适合于离散特征,特别是文本分类。通常,要求特征下的数值是整数,但实际上,小数亦可以,例如 tf-idf 的数值。
案例:对新闻数据进行分类
引入模块并加载数据、划分数据集
from sklearn.naive_bayes import MultinomialNB from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.model_selection import train_test_split # 获取数据 news = fetch_20newsgroups(subset="all") # 划分数据集 X_train, X_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.2, random_state=20)
特征工程:从文本中计算 tf-idf
transfer = TfidfVectorizer() X_train = transfer.fit_transform(X_train) X_test = transfer.transform(X_test)
训练模型
mnb = MultinomialNB() # 默认 alpha=1.0 mnb.fit(X_train, y_train)
评估模型:拟合优度
mnb.score(X_test, y_test)
观察 \(\alpha\) 对预测结果的影响
# alpha的值对模型的影响 import numpy as np alphas = np.logspace(-2, 5, num=200) # 10^-2 到 10^5 scores = [] for alpha in alphas: mnb = MultinomialNB(alpha=alpha) mnb.fit(X_train, y_train) scores.append(mnb.score(X_test, y_test))
# 绘图 import matplotlib.pyplot as plt fig = plt.figure() ax = fig.add_subplot(1,1,1) ax.plot(alphas, scores) ax.set_xlabel(r"$\alpha$") ax.set_ylabel(r"score") ax.set_ylim(0, 1.0) ax.set_xscale('log')
伯努利朴素贝叶斯#
适用于二分类问题。
案例:鉴别垃圾邮件
引入模块,加载数据
import pandas as pd import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.model_selection import train_test_split from sklearn.naive_bayes import BernoulliNB data = pd.read_csv("./data/spam.csv", encoding='latin-1') data = data[['class', 'message']]
训练模型并评估
# 特征 X,标签 y X = np.array(data["message"]) y = np.array(data["class"]) # 邮件内容向量化 cv = CountVectorizer() X = cv.fit_transform(X) # 划分数据集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42) # 训练模型 bnb = BernoulliNB(binarize=0.0) # 参数说明 1 bnb.fit(X_train, y_train) # 模型评估 print(bnb.score(X_test, y_test))
参数说明:
binarize
:如果为
None
,则假定原始数据已经二值化。如果是浮点数,则以该数值为临界,特征取值大于此浮点数的作为 1,小于的作为 0 。用这种方式将特征数据二值化。
参考资料#
[1]. 齐伟. 机器学习数学基础[M]. 北京:电子工业出版社
[2]. 谈继勇. 深度学习500问[M]. 北京:电子工业出版社, 2021:73.
[3]. 周志华. 机器学习[M]. 北京:清华大学出版社, 2016:148-149
[4]. Naive Bayes[EB/OL]. https://scikit-learn.org/stable/modules/naive_bayes.html#multinomial-naive-bayes . 2022.09.20