前言

本文的主体是机器学习中所用到的概率论知识，因此奉行Lazy evaluation，对这些知识更深层次的探究只在绝对必要时完成。本文假设你学过《概率论与数理统计》，仅指出花书的现有定义的不同，同时补充花书中特有的知识

Probability

Conditional probability

$$P(A|B)=\frac{P(AB)}{P(B)}$$

Chain rule/product rule of conditiona probability

$$P(x^{(1)},...,x^{(n)})=P(x^{(1)})\prod_{i=2}^{n}P(x^{1}|x^{(1)},...,x^{(n)})$$

eg

$$P(a,b,c)=P(a|b,c)P(b,c)$$ $$P(b,c)=P(b|c)P(c)$$ $$P(a,b,c)=P(a|b,c)P(b|c)P(c)$$

Independence

Indenpendence:

$$\forall x \in x,y \in y,p(x=x,y=y)=p(x=x)p(y=y)$$

则x,y互相独立。记作

$$x \perp y$$

Conditional independent:

$$\forall x \in x,y \in y ,z\in z,p(x=x,y=y|z=z)=p(x=x|z=z)p(y=y|z=z)$$

称x,y在z下相互独立，记作

$$x \perp y \mid z$$

Covariance

$$Cov(f(x),g(y))=\mathbb{E}[(f(x))-\mathbb{E}[f(x)])(g(x))-\mathbb{E}[g(x)]]$$

协方差值越高，意味着f和g的变化非常大，并且同时距离各自的均值很远。如果协方差是正值，那么f和g倾向于同时相对大的值。如果是负值，则一个取高值的同时另一个取低值。

向量

$$x \in \mathbb{R}^n$$

的covariance matrix(协方差矩阵)是一个nxn的方阵，其中

$$Cov(x)_{i,j}=Cov(x_i,x_j)$$

对于对角线的元素，

$$Cov(x_i,x_i)=Var(x_i)$$

Gaussian Distribution

高斯分布，又称正态分布。
概率密度函数(PDF):

$$\mathcal{N}(x;\mu,\sigma)=\sqrt{\frac{1}{2 \pi \sigma^2}}exp(-\frac{1}{2\sigma^2}(x-\mu)^2)$$

计算概率密度时，经常要取σ的平方倒数，工程中常使用另一个参数β∈(0,∞)表示高斯分布的精准度

$$\mathcal{N}(x;\mu,\beta^{-1})=\sqrt{\frac{\beta}{2 \pi \sigma^2}}exp(-\frac{1}{2}\beta(x-\mu)^2)$$

高斯分布的特点

• 现实中很多复杂的系统可以由高斯分布建模（中心极限定理）
• 在方差相同的所有分布中，高斯分布在实数范围上的“不确定度”最高。换句话说，高斯分布是所有分布中对样本做出最少先验假设的

N维高斯分布：

$$\mathcal{N}(x;\mu,\Sigma)=\sqrt{\frac{1}{(2\pi)^n det(\Sigma)}}exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))$$

其中Σ是正定对称矩阵。μ是矢量形式的分布均值，Σ给出分布的协方差矩阵。为了便于计算，对于N维高斯分布，常用准确度矩阵β作为参数：

$$\mathcal{N}(x;\mu,\beta^{-1})=\sqrt{\frac{det(\beta)}{(2\pi)^n }}exp(-\frac{1}{2}(x-\mu)^T\beta(x-\mu))$$

实践上通常将协方差矩阵固定为对角阵。更简单的方式是将isotropic matrix作为协方差矩阵，其中isotropic matrix指标量数乘单位矩阵的结果。

Dirac delta distribution & empirical distribution

有时我们希望所有的概率密度都聚集在一个点附近。这可以通过Dirac delta函数

$$$\delta(x)$$$实现： $$p(x)=\delta(x-\mu)$$

Dirac delta分布常常被用作empirical distribution（经验分布）的一个组件：

$$\hat{p}(x)=\frac{1}{m}\sum_{i=1}^m\delta(x-x^{(i)})$$

empirical distribution在全部m个点

$$x^{(1)},...x^{(m)}$$

上放置

$$\frac{1}{m}$$

概率密度

Mixture distribution

用其他简单的概率分布来定义概率分布是十分普遍的，混合分布（mixture distribution)就是这样一种方式。混合分布由好几个组件(component)组成。每次采样时，由一个多重分布的结果选择组件标识(component identity)，由此最终结果是由哪一个分布给出的。

$$P(x)=\sum_iP(c=i)P(x\mid c=i)$$

其中P(c)是所有组件上的多重分布。

一种常见且强大的混合模型是高斯混合模型。高斯混合模型所有组件都是高斯分布，他们具有不同的参数μ和Σ。有些分布可以增加限制，如所有组件共用协方差矩阵等。

高斯混合分布是概率密度的通用近似方式。具有足够分量的高斯混合模型可以用任何特定的非零误差量来近似任何平滑密度。

PS，如果用高斯分布来做分类问题，让两个分布共用协方差矩阵Σ通常效果会比使用各自的协方差矩阵效果好。

Latent variable

隐含变量（Latent variable)指无法直接观测的随机变量。混合分布中的组件标识变量c就是隐含变量。

$$P(x,c)=P(x\mid c)P(c)$$

隐含变量的分布P(c)和条件分布P(x|c)共同决定了P(x)的分布。尽管P(x)可以在没有隐含变量的条件下被计算出来。

Useful properties of Common Functions

logistic sigmoid:

$$\sigma(x)=\frac{1}{1+exp(-x)}$$

softplus:

$$\zeta(x)=log(1+exp(x))$$

why the name softplus?
It’s a “softeded” version of x^=max(0,x)

Bayes’ Rule

已知P(y|x)和P(x)求P(x|y)时可以使用贝叶斯公式：

$$P(x|y)=\frac{P(x)P(y \mid x)}{P(y)}$$

其中

$$P(y)=\sum_xP(y \mid x)P(x)$$

prior-probability and posterior-probability

• prior-probability
  即先验概率。指根据以往经验和分析得到的概率
• posterior-probability
  后验概率是在考虑和给出相关证据或数据后所得到的条件概率

考虑bayes’ Rule

$$P(\theta \mid x)=\frac{P(x\mid\theta)P(\theta)}{P(x)}$$

• θ：parameter
• x：observed value
• P(x)：evidence
• P(θ)：prior
• P(x|θ)：likelihood
• P(θ|x)：posterior

PDF of y where y=g(x)

假设有现随机变量x，y，其中y=g(x)，求y的PDF

PDF根据pdf的定义,

$$P(x)_{x \in \delta}=\int_{x}p(x)dx$$

p(x)dx为x落在某一邻域δ内的概率。现保留该属性，则有

$$|p_y(g(x))dy|=|p_x(x)dx|$$ $$p_y(y)=p_x(g^{-1}(y))\mid \frac{\partial x}{\partial y} \mid$$ $$p_x(x)=p_y(g(x))\mid \frac{\partial g(x)}{\partial y} \mid$$

考虑高维情况，x与y为向量，定义雅可比矩阵J，其中

$$J_{i,j}=\frac{\partial x_i}{\partial y_j}$$

则

$$p_x(x)=p_y(g(x))\mid \det \left\{ \frac{\partial g(x)}{\partial x}\right\} \mid$$

Information theory

basic assemption:

• Likely events should have low information content, and in the extreme case, events that are guaranteed to happen should have no information content whatsoever.
  • Less likely events should have higher information content.
  • Independent events should have additive information. For example, finding out that a tossed coin has come up as heads twice should convey twice as much information as finding out that a tossed coin has come up as heads once.

Self-information & Shanon entropy

单一事件所含的信息，单位为nat

$$I(x)=-\log P(x)$$

整个概率分布上的不确定性，即香农熵

$$H(x)=E_{x\sim P}[I(x)]=-\mathbb{E}_{x\sim P}[\log P(x)]$$

也记作H(P).

当P(x)和Q(x)为相同随机变量x的分部时，两种分布间的“距离”用
Kullback-Leibler (KL) divergence定义：

$$D_{KL}(P\|Q)=\mathbb{E}_{x\sim P}\left[\log\frac{P(x)}{Q(x)}\right]=\mathbb{E}_{x\sim p}[\log P(x) - \log Q(x)]$$

the value means the extra amount of information
needed to send a message containing symbols drawn from probability distribution P, when we use a code that was designed to minimize the length of messages drawn from probability distribution .

KL divergence

• non-negarive
• not symmetric $$D_{KL}(P\|Q)\not ={D_{KL}(Q\|P)}$$

与KL divergence密切相关的一种度量是cross-entropy
定义为

$$H(P,Q) = H(P)+D_{KL}(P\|Q)=-\mathbb{E}_{x\sim P}\log Q(x)$$

Minimizing the cross-entropy with respect to Q is equivalent to minimizing the KL divergence, because Q does not participate in the omitted term.

Structed Probabilistic Models

机器学习中的参数成千上万，使用含有这么多参数的分布不切实际。根据条件概率的乘法公式，可以把大分布拆成小分布的乘积（这一过程叫factorization)。当使用CS中的图来表示这种factorization时，就把模型称为structured probabilistic model或graphical model。structed probabilistic model分为两类，分别使用DAG和UAG。

DAG

Directed models use graphs with directed edges, and they represent factorizations into conditional probability distributions, Specifically, a directed model contains one factor for every random variable xi in the distribution

$$p(\mathbf{x})=\prod_ip(x_i|Pa\mathcal{G}(x_i))$$

where

$$Pa\mathcal{G}(x_i)$$

is the parents of xi.

UAG

Undirected models use graphs with undirected edges, and they represent
factorizations into a set of functions; unlike in the directed case, these functions are usually not probability distributions of any kind. Any set of nodes that are all connected to each other in G is called a clique. Each clique Ci in an undirected model is associated with a factor φi . These factors are just functions, not probability distributions. The output of each factor must be non-negative, but there is no constraint that the factor must sum or integrate to 1 like a probability distribution.

The probability of a configuration of random variables is proportional to the
product of all of these factors—assignments that result in larger factor values are more likely. Of course, there is no guarantee that this product will sum to 1. We therefore divide by a normalizing constant Z, defined to be the sum or integral over all states of the product of the φ functions, in order to obtain a normalized probability distribution:

$$p(x)=\frac{1}{Z}\prod_i\phi^{(i)}(\mathcal{C}^{(i)})$$

DAG和UAG都是描述概率分布的方法，他们并不是互斥的概率分布。使用DAG还是UAG并不是概率分布的属性，而是某种特定描述方式的属性