11-25 01:40 阅读 134

关注

CAN: 借助数据分布提升分类性能

模拟计算AN（Alternating Normalization）

首先我们设置一些矩阵和参数

$$\begin{array}{rl}{A}_0& =\left[\begin{array}{ccc}0.2& 0& 0.8\\ 0.9& 0.1& 0\\ 0& 0& 1\end{array}\right]\\ b_0& =\left[\begin{array}{c}0.5\\ 0\\ 0.5\end{array}\right]\\ {\Lambda }_q& =\left[\begin{array}{ccc}0.8& & \\ & 0.1& \\ & & 0.1\end{array}\right]\\ \alpha & =1,d=1\end{array}$$

稍微解释一下，$A_0$根据原算法描述是$n$个置信度比较高的样本的预测概率分布进行拼接，可以看出只有3个样本置信度比较高，并且他们的预测类别分别为2，0，2；$b_0$是某样本$x$的预测概率，因为是概率分布，所以必须满足求和为1；${\Lambda }_q$是三个类别的样本比例，可以看出第一个类别的数据非常多

首先是列归一化

$$\begin{array}{rl}{\Lambda }_S& =\mathcal{D}(L_0^T\mathbf{e})\\ & =\mathcal{D}({\left[\begin{array}{ccc}0.2& 0& 0.8\\ 0.9& 0.1& 0\\ 0& 0& 1\\ 0.5& 0& 0.5\end{array}\right]}^T\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right])\\ & =\mathcal{D}(\left[\begin{array}{c}1.6\\ 0.1\\ 2.3\end{array}\right])\\ & =\left[\begin{array}{ccc}1.6& & \\ & 0.1& \\ & & 2.3\end{array}\right]\\ & \\ S_d& =L_0{\Lambda }_S^{-1}\\ & =\left[\begin{array}{ccc}0.2& 0& 0.8\\ 0.9& 0.1& 0\\ 0& 0& 1\\ 0.5& 0& 0.5\end{array}\right]\left[\begin{array}{ccc}1/1.6& & \\ & 10& \\ & & 1/2.3\end{array}\right]\\ & =\left[\begin{array}{ccc}1/8& 0& 8/23\\ 9/16& 1& 0\\ 0& 0& 10/23\\ 5/16& 0& 5/23\end{array}\right]\end{array}$$

仔细观察矩阵$S_d$，它每列求和都是1，也就是列归一化，如果我们追根溯源的话，实际上$S_d$就是$L_0$对每列求和，然后将$L_0$每列元素除以该和

接着是行归一化

伪原创工具 https://www.237it.com/ 

$$\begin{array}{rl}{\Lambda }_L& =\mathcal{D}(\left[\begin{array}{ccc}1/8& 0& 8/23\\ 9/16& 1& 0\\ 0& 0& 10/23\\ 5/16& 0& 5/23\end{array}\right]\left[\begin{array}{ccc}0.8& & \\ & 0.1& \\ & & 0.1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right])\\ & =\mathcal{D}(\left[\begin{array}{c}31/230\\ 11/20\\ 1/23\\ 25/92\end{array}\right])\\ & =\left[\begin{array}{ccccc}31/230& & & & \\ & 11/20& & & \\ & & & 1/23& \\ & & & & 25/92\end{array}\right]\\ & \\ L_1& =\left[\begin{array}{ccccc}230/31& & & & \\ & 20/11& & & \\ & & & 23& \\ & & & & 92/25\end{array}\right]\left[\begin{array}{ccc}1/8& 0& 8/23\\ 9/16& 1& 0\\ 0& 0& 10/23\\ 5/16& 0& 5/23\end{array}\right]\left[\begin{array}{ccc}0.8& & \\ & 0.1& \\ & & 0.1\end{array}\right]\\ & =\left[\begin{array}{ccc}23/31& 0& 8/31\\ 9/11& 2/11& 0\\ 0& 0& 1\\ 23/25& 0& 2/25\end{array}\right]\end{array}$$

我们只需要$L_1$的最后一行，即${\mathbf{b}}_1={\left[\begin{array}{ccc}23/25& 0& 2/25\end{array}\right]}^T$，可以看，原本${\mathbf{b}}_0$的概率分布是${\left[\begin{array}{ccc}0.5& 0& 0.5\end{array}\right]}^T$，经过「先验」调整后的类别明显偏向数据占比比较多的第一类，并且${\mathbf{b}}_1$向量求和为1，符合概率的定义

作者：数学家是我理想
链接：https://juejin.cn/post/7034316748388040734