【算法】异常检测

异常检测

异常检测(Anomaly Detection):异常检测就是从数据集中检测出异常样本，是一种无监督学习。

引例

飞机制造商在飞机引擎从生产线上流出时，会考虑进行异常检测，以防止不合格引擎对整机造成的巨大影响，而为了进行异常检测，通常就需要采集一些特征，比如会采集如下特征：

1. =引擎运转时产生的热量
2. =引擎的振荡频率

对于一系列的数据集（特征向量集合）： ， , 这些数据都是正常样本，我们将其绘制到二维平面上：

如果一个新的测试样本居于样本布密度较大的地方如：

那么我们有很大的把握认为这个测试样本是正常的。
反之如果一个新的测试样本远离分布集中的地方如：

那么我们也有很大的把握认为这个测试样本是正常的。

小结：
如果我们拥有一个测试集 ,我们根据已知的数据集建立模型 ，该模型可以将正常样本与异常样本分离。

建立模型

高斯分布(正态分布)

正态分布可以表示成 ,表示 服从均值为 ,方差为 的正态分布。

参数估计：
若有 ，

证明可以中最大似然估计。

异常检测算法

训练集： ，
建立模型：

参数拟合：

计算

判断 是否小于 ，若小于 则为异常。

异常检测算法的评估

1. 对数据按6:2:2比例进行分配,分别为训练集，交叉验证集，测试集，训练集中全是无标签数据，异常数据在交叉验证集与测试集中按比例进行分配
2. 通过训练集对参数进行拟合
3. 对交叉验证集和测试集中的数据进行测试
4. 由于异常样本的数量非常的少，导致预测十分偏斜，可以通过考察准确率，召回率，F1值来评估模型的效果。
5. 通过交叉验证集来调节参数

异常检测与监督学习

因为我们可能已经知道了训练数据是否为异常数据，那么就难免有个疑惑我们为什么不用监督学习的算法比如logistics regression来做呢？
下面我们来比较一下异常检测与监督学习

注：大量的正样本可以让算法学习到正样本的特征，并且肯能出现的正样本与训练集中的正样本相似，而异常可能是从未出现过的异常。

数据处理

通常我们先画出特征值的柱状图，看其是否接近与高斯分布，若不是我们可以对特征值进行相关的处理，使其接近于高斯分布，例如取对数，取幂等等。特征值的分布越接近高斯分布则算法的效果越好。

多元高斯分布

我们不再单独考虑每个特征值的高斯分布而是考虑特征向量 的高斯分布

算法流程

参数拟合

剩下的流程同高斯分布相同。

高斯分布与多元高斯分布比较

注：如果发现 是不可逆的一般有两种情况

• m< n
• 有冗余变量（变量间存在线性相关的关系）

MatlabCode

参数拟合Code

function [mu sigma2] = estimateGaussian(X)
%ESTIMATEGAUSSIAN This function estimates the parameters of a 
%Gaussian distribution using the data in X
%   [mu sigma2] = estimateGaussian(X), 
%   The input X is the dataset with each n-dimensional data point in one row
%   The output is an n-dimensional vector mu, the mean of the data set
%   and the variances sigma^2, an n x 1 vector
% 

% Useful variables
[m, n] = size(X);

% You should return these values correctly
mu = zeros(n, 1);
sigma2 = zeros(n, 1);

% ====================== YOUR CODE HERE ======================
% Instructions: Compute the mean of the data and the variances
%               In particular, mu(i) should contain the mean of
%               the data for the i-th feature and sigma2(i)
%               should contain variance of the i-th feature.
%
for i=1:n
    mu(i)=sum(X(:,i))/m;
end;

for i=1:n
    sigma2(i)=sum((X(:,i)-mu(i)).^2)/m;
end;  
% =============================================================
end

更新

function [bestEpsilon bestF1] = selectThreshold(yval, pval)
%SELECTTHRESHOLD Find the best threshold (epsilon) to use for selecting
%outliers
%   [bestEpsilon bestF1] = SELECTTHRESHOLD(yval, pval) finds the best
%   threshold to use for selecting outliers based on the results from a
%   validation set (pval) and the ground truth (yval).
%

bestEpsilon = 0;
bestF1 = 0;
F1 = 0;

stepsize = (max(pval) - min(pval)) / 1000;
for epsilon = min(pval):stepsize:max(pval)
    
    % ====================== YOUR CODE HERE ======================
    % Instructions: Compute the F1 score of choosing epsilon as the
    %               threshold and place the value in F1. The code at the
    %               end of the loop will compare the F1 score for this
    %               choice of epsilon and set it to be the best epsilon if
    %               it is better than the current choice of epsilon.
    %               
    % Note: You can use predictions = (pval < epsilon) to get a binary vector
    %       of 0's and 1's of the outlier predictions
    predicted = (pval<epsilon);
    truepostive = sum((predicted==1)&(yval==1));
    falsepostive = sum((predicted==1)&(yval==0));
    falsenegative = sum((predicted==0)&(yval==1));
    pre = truepostive/(truepostive+falsepostive);
    rec = truepostive/(truepostive+falsenegative);
    F1 = 2*pre*rec/(pre+rec);
    % =============================================================

    if F1 > bestF1
       bestF1 = F1;
       bestEpsilon = epsilon;
    end
end

end