master
aolingwen 5 years ago
parent 0b90e935d1
commit 45d993973d

@ -56,7 +56,7 @@ $$
<div align=center><img src="./img/1028.jpg", height="250"/></div>
如图中,距离最近的几个点使两个不等式的等号成立,它们就被称为 **支持向量**,即图中两条黄色的线。两个异类支持向量到超平面的距离之和为:
如图中,距离最近的几个点使两个不等式的等号成立,它们就被称为支持向量,即图中两条黄色的线。两个异类支持向量到超平面的距离之和为:
<center>
$$
@ -65,7 +65,7 @@ $$
</center>
<br>
它被称为 **间隔** ,即蓝线的长度。欲找到具有“最大间隔”的决策边界,即黑色的线,也就是要找到能够同时满足如下式子的$$w$$与$$b$$:
它被称为间隔,即蓝线的长度。欲找到具有“最大间隔”的决策边界,即黑色的线,也就是要找到能够同时满足如下式子的$$w$$与$$b$$:
<div align=center><img src="./img/1029.jpg", height="150"/></div>
@ -104,7 +104,7 @@ $$
</center>
<br>
对两式子使用拉格朗日乘子法可得到其**对偶问题**。具体为,对式子的每条约束添加拉格朗日乘子$$\alpha\geq0$$,则该问题的拉格朗日函数可写为:
对两式子使用拉格朗日乘子法可得到其对偶问题。具体为,对式子的每条约束添加拉格朗日乘子$$\alpha\geq0$$,则该问题的拉格朗日函数可写为:
<center>
$$
@ -128,7 +128,7 @@ $$
</center>
<br>
将式子$$2$$带入式子$$1$$,则可将$$w$$和$$b$$消去,再考虑式子$$3$$的约束,就可得到原问题的**对偶问题**
将式子$$2$$带入式子$$1$$,则可将$$w$$和$$b$$消去,再考虑式子$$3$$的约束,就可得到原问题的对偶问题:
<center>
$$
@ -149,7 +149,7 @@ $$
</center>
<br>
解出$$\alpha$$后,求出`w`与`b`即可得到模型:
解出$$\alpha$$后,求出$$w$$与$$b$$即可得到模型:
<center>
$$
@ -158,7 +158,7 @@ $$
</center>
<br>
从对偶问题解出的$$\alpha_i$$是拉格朗日乘子,它恰对应着训练样本$$(x_i,y_i)$$,由于原问题有不等式的约束,因此上述过程需满足**KKT(Karush-Kuhn-Tucker)**条件,即要求:
从对偶问题解出的$$\alpha_i$$是拉格朗日乘子,它恰对应着训练样本$$(x_i,y_i)$$由于原问题有不等式的约束因此上述过程需满足KKT(Karush-Kuhn-Tucker)条件,即要求:
<center>
$$
@ -171,7 +171,7 @@ $$
</center>
<br>
于是,对任意训练样本$$(x_i,y_i)$$,总有$$\alpha_i=0$$或$$y_if(x_i)=1$$。若$$\alpha_i=0$$,则该样本将不会出现在式子`4`中,也就不会对$$f(x)$$,有任何影响。若$$\alpha_i>0$$,则必有$$y_if(x_i)=1$$,所对应的样本点位于最大间隔边界上,是一个支持向量。这显示出支持向量机的一个重要性质:**训练完后,大部分的训练样本都不需要保留,最终模型仅与支持向量有关**。
于是,对任意训练样本$$(x_i,y_i)$$,总有$$\alpha_i=0$$或$$y_if(x_i)=1$$。若$$\alpha_i=0$$,则该样本将不会出现在式子$$4$$中,也就不会对$$f(x)$$,有任何影响。若$$\alpha_i>0$$,则必有$$y_if(x_i)=1$$,所对应的样本点位于最大间隔边界上,是一个支持向量。这显示出支持向量机的一个重要性质:**训练完后,大部分的训练样本都不需要保留,最终模型仅与支持向量有关**。
##线性支持向量机

Loading…
Cancel
Save