10-29 03:17 阅读 102

关注

机器学习基础知识—KL 散度

今天将探讨一种比较两个概率分布的方法，称为 Kullback-Leibler 散度(通常简称为KL散度)。我们先给出公式

$$\begin{gathered} D_{KL}(P||Q)=\sum _{i}P(i)\log \frac{P(i)}{Q(i)} \\ {D}_{KL}(P||Q)=\int P(x)\log \frac{P(x)}{Q(x)}dx \end{gathered}$$

上面公式是看 $Q(i)$ 与目标 $P(i)$ 概率的差距。对于KL散度具有非对称性和非负性。

对于投硬币的问题我们假设我们观察到的是在投掷了 N 次中，正面朝上的次数为 $N_H$，而背面朝上的次数为 $N_T$。假设有两个概率分布分别为 P (real coin)和 Q，其中 P 概率分布表示为 $p_1,p_2$ 这两概率表示在 P 概率分布中正面朝上的概率为 $p_1$ 而背面朝上的概率为 $p_2$。而预测概率分布为 Q(coin1),其中 分布中正面朝上的概率为 $q_1$ 而背面朝上的概率为 $q_2$

$$\begin{gathered} P(Observations|realcoin)=p_1^{N_H}{p}_2^{N_T} \\ P(Observations|coin1)=q_1^{N_H}{q}_2^{N_T} \end{gathered}$$

分别用概率分布 P 和概率分布 Q 前提，看到 N 次中，正面朝上的次数为 $N_H$，而背面朝上的次数为 $N_T$观察值，也就是似然。

$$\log (\frac{p_1^{N_H}{p}_2^{N_T}}{q_1^{N_H}{q}_2^{N_T}}{)}^{\frac{1}{N}}$$

上面对其比值进行正则化，也就是取 $\frac{1}{N}$ 后取 log

$$\begin{gathered} \frac{N_H}{N}\log p_1+\frac{N_T}{N}\log p_2-\frac{N_H}{N}\log q_1-\frac{N_T}{N}\log q_2 \\ {q}_1\log p_1+q_1\log p_2-q_1\log p_1-q_2\log p_2 \\ {q}_1 \\ {q}_1\log \frac{p_1}{q_1}+q_2\log \frac{p_2}{q_2} \\ =\sum _i{q}_i\frac{p_i}{q_i} \end{gathered}$$

这就是整个推导过程。

作者：zidea
链接：https://juejin.cn/post/7024072585063170055