贝叶斯定理

由联合概率的乘法交换律得到

$\begin{aligned} P(H,D) &= P(D,H)\\ P(H)P(D|H) &= P(D)P(H|D)\\ P(H|D) &= \frac{P(H)P(D|H)}{P(D)}\\ P(H_i|D) &= \frac{P(H_i)P(D|H_i)}{\sum_i P(H_i)P(D|H_i)} \end{aligned}$

其中

$P(H)$ 为先验概率，即在得到新数据前的某一假设
$P(H|D)$ 为后验概率，即在看到新数据后，我们待求解的该假设的概率
$P(D|H)$ 称为似然度，是该假设下得到这一数据的概率
$P(D)$ 称为标准化常量，是在任何假设下得到这一数据的概率

将 $D$ 变成样本 $x$ ，将 $H$ 变成连续的参数 $\theta$ ，有贝叶斯公式

$\pi(\theta_i|x)=\frac{f(x|\theta_i)\pi(\theta_i)}{\int_\Theta f(x|\theta_i)\pi(\theta_i)}$

其中

$\pi(\theta)$ 为先验分布，可设为 0-1 均匀分布
$\pi(\theta|x)$ 为后验分布
$f(x|\theta)$ 为似然函数，即我们观测到的样本分布

累计分布函数 CDF $F_X(x)$ ，也叫分布函数，有 $F_X(x) = P(X \le x)$ ，是非降、有界、有连续的函数。

概率密度函数 PDF $f_X$ ，有 $F_X(x)=\int_{-\inf}^x f_X(t)dt$ ，是有界、单调、右连续的函数。

求解参数 $\theta$ ，可以用矩估计法或极大似然估计法

$\arg \max_{\theta} \text{MLE}(\theta)=\prod_i f(x_i | \theta)$

贝叶斯分类器

贝叶斯决策论

假设样本分类空间 $\mathcal{Y}={c_1,c_2,...,c_n}$ ，样本 $x$ 上的条件风险定义

$R(c_i|x) = \sum_{j=1}^{N} \lambda_{ij} P(c_j|x)$

其中 $\lambda_{ij}$ 是误分 $j$ 为 $i$ 类产生的损失

寻找一个判定准则 $h:X \leftarrow Y$ 以最小化风险

$R(h) = \mathbb{E} [R(h(x)|x)]$

贝叶斯准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险 $R(c|x)$ 最小化的类别标记，即

$h^*(x)= \arg \min_{c \in \mathcal{Y}} R(c|x)$

其中， $1 - R(h^*)$ 反应了分类器所能达到的最优性能，即通过机器学习所能产生的模型精度的最上限。

此时 $h^{*}$ 称为贝叶斯最优分类器

与之对应的总体风险称为 $R(h^*)$ 称为贝叶斯风险。

当最小化分类错误错误分类率时， $\lambda_{i,j}$ 定义为

$\lambda_{i,j}=I(i==j)$

此时条件风险

$R(c|x)=1-P(c|x)$

于是最小化分类错误率的贝叶斯最优分类器为

$h^* (x)= \arg \max_{x \in \mathcal{Y}} P(c|x)$

不难看出，要使用贝叶斯判定准则来最小化决策风险，首先要获得后验概率 $P(c|x)$ ，但是在现实任务中很难。问题可以转化为贝叶斯公式

$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}$

其中， $P(c)$ 是类先验概率， $P(x|c)$ 是样本 x 相对于标记 c 的累条件概率，或者成为似然， $P(x)$ 是用于归一化的证据因子。对给定样本 $x$ ，证据因子和累标记无关。因此累估计 $P(c|x)$ 的问题就转化为如何基于训练数据集 $T$ 来估计先验 $P(c)$ 和似然 $P(x|c)$

其中 $P(x|c)$ 的频率学派估计方法，假定参数是客观存在的固定值，通过优化似然函数等准则来确定参数值。Bayesian 学派认为，参数是为观察到的随机变量，它本身也可有分布，因此可以假定参数服从一个先验分布，然后基于观测到的数据来计算参数的后验分布.

频率学派的 MLE 方法：令 $D_c$ 表示训练集中第 $c$ 类样本组成的集合，假设这些样本是独立同分布的，则参数 $\theta_c$ 对于数据集 $D_c$ 的似然是

$P(D_c|\theta_c) = \prod_{x \in D_c}{P(x|\theta_c)}$

通常用对数似然，避免上式连乘操作的下溢

$LL(\theta_c)=\log P(D_c|\theta_c)=\sum_{x\in D_c} \log P(x|\theta_c)$

朴素贝叶斯分类器

贝叶斯公式估计后验概率 $P(c|x)$ 的困难在于 $P(x|c)$ 是所有属性上的联合概率，难以从有限的样本直接估计而得。为解决这个问题，朴素贝叶斯分类器采用了 “属性条件独立性假设”：对已知类别，假设所有属性相互独立。那么有

$P(c|x)=\frac{P(c)P(x|c)}{P(x)} = \frac{P(c)}{P(x)} \prod_{i=1}^{d} P(x_i|c)$

其中 $d$ 为属性的数目， $x_i$ 为 $x$ 在第 $i$ 个属性上的取值

对所有类别 $P(x)$ 相同，因此贝叶斯判定准则有

$h_{nb}(x) = \arg \max_{c\in \mathcal{Y}} P(c) \prod_{i=1}^{d} P(x_i|c)$

这就是朴素贝叶斯分类器的表达式，其中

$\begin{aligned} P(c)=\frac{|D_c|}{|D|}\\ P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|} \end{aligned}$

半朴素贝叶斯分类器

推导 wiki

One-Depedent Estimator，ODE，独依赖估计，假设每个属性在类别之外最多仅依赖一个其他属性，可以推导出

$P(c|x) \propto P(c) \prod_{i=1}^{d} P(x_i|c,pa_i)$

TODO

贝叶斯网

也叫信念网，belief network，借助无环图，Directed Acyclic Graph，DAG 来刻画属性之间的依赖关系，并使用条件概率表 CPT 来描述属性的联合概率分布

TODO

EM 算法

在训练集中，有时会有未观测到的变量，即隐变量。令 $X$ 表示已观测变量集合， $Z$ 表示隐变量集， $\Theta$ 表示模型参数。若想对 $\Theta$ 做极大似然估计，则应最大化对数似然函数

$LL(\Theta|X,Z)=\ln {P(X,Z|\Theta)}$

由于 $Z$ 是隐变量，无法直接求解。我们可以用梯度下降方法估计隐变量，但是求和项数会随着隐变量的数目指数增加，给梯度计算带来麻烦。或者可用 EM 方法 (非梯度优化方法)，通过对 $Z$ 计算期望，来最大化已观测数据的对数边际似然 marginal likelyhood

$LL(\Theta|X)=ln(P(X|\Theta))=ln \sum_{Z} P(X,Z|\Theta)$

Expectation Maximization 算法，是常用的估计参数隐变量的方法，其基本想法是：若参数 $\Theta$ 已知，则可根据训练数据推断初最优隐变量 $Z$ 的值 (E步)；反之，若 $Z$ 的值已知，则可方便地对参数 $\Theta$ 做极大似然估计 (M 步)。交替 E 步，M 步直到收敛到局部最优解.