统计机器学习04：感知机¶
本页统计信息
-
本页约 993 个字, 预计阅读时间 3 分钟。
-
本页总阅读量次
感知机模型的基本概念¶
定义¶
感知机模型是一种二分类的线性分类模型，输入k维线性空间中的向量，输出一个实例的类别(正反类别分别用+1和-1来表示)，可以将这个分类过程用一个函数来表示： \(\(y=f(x)=\mathrm{sign}(\omega x + b)\)\) 这里的参数\(\omega\)和\(b\)就是感知机的模型参数，其中\(\omega\)，而实数b是一个偏置(bias)，这里的sign函数是一个特殊的函数，当输入的x是正数或者0的时候函数值就是1，输入的x是负数的时候函数值就是-1.
基于超平面的理解¶
可以把样本集里面的N个k维的向量看成是k维线性空间中的点，感知机的目标就是找到一个划分这个点集的超平面S，使得平面S的两侧分别是两种类型的点，后面的测试集的分类就基于测试集中数据所对应的点和超平面的位置关系来划分，在正例的一侧\(\omega x + b\ge 0\)，反例的一侧则小于0.因此感知机的学习目标就是根据样本数据学习出超平面的方程\(\omega x + b=0\)
基于神经元的理解¶
其实感知机可以看成是一种非常简单的二层神经网络，输入层的内容是k维向量的k个特征，输出层的结果就是向量的分类情况(分为+1和-1)两种，而输出层的神经元存在一个阈值\(\theta\)，如果超过了这个阈值，神经元就会被激活，神经元存在一个激活函数\(f(x)\)，因此这个二层神经网络可以用下面的式子来表示： $$ y=f(\sum_{i=1}^{k}\omega_ix_i-\theta)=f(\omega x-\theta) $$ 其中\(w_i\)就是每个神经元的权重，也对应于定义式中的\(\omega\)，而阈值则是定义中的bias的相反数，函数f被称为激活函数，可以选用sign函数，也可以选用sigmod函数，这两个函数的区别是sign是实数域\(\mathbb R\)不连续的函数，而sigmod是连续的，当选取sign函数作为激活函数的时候，这个感知机模型的表达式就和超平面的理解中完全一致。
感知机模型的求解¶
损失函数¶
感知机的训练集必须要求是线性可分的，而感知机的的性能评估要考虑被误分类的点的情况，为了选择一个关于参数\(\omega\)和b连续的损失函数，一个比较自然的选择就是根据各个点到超平面S的距离之和，即有： $$ L=-\frac{1}{||\omega||}\sum_{x_i\in M}y_i(\omega x_i+b) $$ 这里的M表示数据集D中被误分类的点的集合，因此感知机中的损失函数可以定义为： $$ L(\omega, b)=-\sum_{x_i\in M}y_i(\omega x_i+b) $$ 因此感知机模型的求解目标就变成了： $$ \min L(\omega,b)=-\sum_{x_i\in M}y_i(\omega x_i+b) $$
基于随机梯度下降法的求解¶
对损失函数求梯度可以得到： $$ \nabla_{\omega}L(\omega, b)=-\sum_{x_i\in M}y_ix_i $$
因此可以在学习的过程中，先确定一组参数的初值，并选择好学习率\(eta\)，(注意学习率不能超过1)，然后进行如下步骤开始学习：
-
在训练集中选取一组数据\((x_i,y_i)\)
-
如果这组数据是误分类的，也就是说\(y_i(\omega_kx_i+b_k)\le 0\)，那么就要：\(w_{k+1}=w_k+\eta y_ix_i\) \(b_{k+1}=b_k+\eta y_i\)
-
回到第二步继续循环，直到训练集中没有误分类的点，结束模型的训练