adaboost算法原理,svm原理详解
原文作者：跑前浪
原文地址： svm算法说明得最明白
我最近在学习svm算法。 用这篇文章记录下了自己的学习过程，学习时有很多地方参考了z老师的讲课和tsdqj的统计。 如果有不足的地方，海涵； 如果对svm算法进行通俗易懂的二维理解，就是寻找分割线并分为两种。 问题是，如下图所示，可以用三种颜色将点和星星分开，哪条线最合适呢？ 这就是我们要考虑的问题；
首先，假设W•X b=0为最佳分割线，将直线分为两种，如下图所示。 那么，解决如何取得这个最佳直线和w和b的值。 SVM中最佳分割面(超平面)是指支持向量与超平面间的最小距离的最大值； 我们的目标是寻找超平面，让比较接近超平面的点有更大的间隔。 也就是说，不认为所有点都必须离开超平面，而是关心求出的超平面在所有点中使最近的点具有最大的间隔。
如上所述，假定蓝色类中存在5个样本，Y=1，紫色类中设定5个样本，Y=-1，总计t={(x，y )，x，} 10个样本，超平面从采样点到超平面的几何距离如下。
在这里说明。 函数距离与几何距离的关系； 在定义上，将样本| wx b|距离称为函数距离，但上式是几何距离，作为可知当w和b以相同倍数增加时，函数距离也以倍数增加的简单例子，从样本x到2wX 2b=0的函数距离为wX b=0的函数距离的2倍的几何矩阵
谈谈如何得到超平面吧？ 超平面是指距支持向量的最小距离为最大，即max [从支持向量到超平面的最小距离]； 那就算出支撑向量到超平面的距离就可以了，支撑向量到超平面的最小距离可以用下面的公式：表示
因此，最终优化的公式如下。
由函数距离和几何距离可知，即使w和b增加，几何距离也不变，因此上图中的r1函数距离为1，k1函数距离为1，其他采样点的函数距离不能以相同倍数增加大于1的y(w*xb )=1。 关于采样点距离，上图中r1函数距离为1，k1函数距离为1，其他采样点的函数距离大于1
式1-3参照下述：将最大化分数最优化，变换为最优化最小化分母，为了最优化的方便，变换为式1-4
为了优化以上表达式，使用拉格朗日表达式和KTT条件优化表达式进行如下转换
在这里说明上面的优化公式。 例如，我们的目标问题是。 构造函数：
这个时候等价于。 因此，只有在的情况下才能取得最大值，所以我们的目标函数可以写成。 使用对偶式)，因为我们的优化满足强对偶(强对偶是对偶式的最佳值等于原问题的最佳值)，在取最佳值的条件下满足：
上面结合一次对偶进行了说明，我们的优化函数如下。 其中，a 0
现在的优化方案如上所述，首先求出最小值，对w和b分别求出偏导数，就可以得到以下公式。
将上式中获取的参数代入公式中，优化max值：
只要解决到最后的步骤，就可以得到最佳的a值。
le="text-indent:33px;">以上就可以获取超平面！
但在正常情况下可能存在一些特异点，将这些特异点去掉后，剩下的大部分点都能线性可分的，有些点线性不可以分，意味着此点的函数距离不是大于等于1，而是小于1的，为了解决这个问题，我们引进了松弛变量 ε>=0; 这样约束条件就会变成为：
故原先的优化函数变为：
对加入松弛变量后有几点说明如下图所以；距离小于1的样本点离超平面的距离为d ,在绿线和超平面之间的样本点都是由损失的，
其损失变量和距离d 的关系，可以看出 ξ = 1-d , 当d >1的时候会发现ξ =0，当 d<1 的时候 ξ = 1-d ;故可以画出损失函数图，如下图1-7；样式就像翻书一样，我们把这个损失函数叫做 hinge损失；
下面我们简单的就来讨论一下核函数：核函数的作用其实很简单就是把低维映射到着急的钥匙，便于分类。核函数有ggdll核等,下面就直接上图看参数对模型的影响，从下图可以了解，当C变化时候，容错变小，泛化能力变小；当选择ggdll核函数的时候，随时R参数调大，准确度提高，最终有过拟合风险；
下面就直接上代码了（鸢尾花SVM二特征分类）：
iris_feature = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度' if __name__ == "__main__": path = 'iris.data' # 数据文件路径 data = pd.read_csv(path, header=None) x, y = data[range(4)], data[4] y = pd.Categorical(y).codes x = x[[0, 1]] x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, train_size=0.6) # 分类器 clf = svm.SVC(C=0.3, kernel='linear', decision_function_shape='ovo') clf.fit(x_train, y_train.ravel()) # 准确率 print clf.score(x_train, y_train) # 精度 print '训练集准确率：', accuracy_score(y_train, clf.predict(x_train)) print clf.score(x_test, y_test) print '测试集准确率：', accuracy_score(y_test, clf.predict(x_test)) x1_min, x2_min = x.min() x1_max, x2_max = x.max() x1, x2 = np.mgrid[x1_min:x1_max:500j, x2_min:x2_max:500j] # 生成网格采样点 grid_test = np.stack((x1.flat, x2.flat), axis=1) # 测试点 print 'grid_test = \n', grid_test Z = clf.decision_function(grid_test) Z = Z[:,0].reshape(x1.shape) print "decision_function:",Z grid_hat = clf.predict(grid_test) grid_hat = grid_hat.reshape(x1.shape) mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] = False cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF']) cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b']) plt.figure(facecolor='w') plt.pcolormesh(x1, x2, grid_hat, cmap=cm_light) plt.scatter(x[0], x[1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本 plt.scatter(x_test[0], x_test[1], s=120, facecolors='none', zorder=10) # 圈中测试集样本 plt.xlabel(iris_feature[0], fontsize=13) plt.ylabel(iris_feature[1], fontsize=13) plt.xlim(x1_min, x1_max) plt.ylim(x2_min, x2_max) plt.title(u'鸢尾花SVM二特征分类', fontsize=16) plt.grid(b=True, ls=':') plt.show() 最后画图如下：