统计机器学习04：感知机

感知机模型的基本概念

定义

感知机模型是一种二分类的线性分类模型，输入k维线性空间中的向量，输出一个实例的类别(正反类别分别用+1和-1来表示)，可以将这个分类过程用一个函数来表示：这里的参数和就是感知机的模型参数，其中，而实数b是一个偏置(bias)，这里的sign函数是一个特殊的函数，当输入的x是正数或者0的时候函数值就是1，输入的x是负数的时候函数值就是-1.

基于超平面的理解

可以把样本集里面的N个k维的向量看成是k维线性空间中的点，感知机的目标就是找到一个划分这个点集的超平面S，使得平面S的两侧分别是两种类型的点，后面的测试集的分类就基于测试集中数据所对应的点和超平面的位置关系来划分，在正例的一侧，反例的一侧则小于0.因此感知机的学习目标就是根据样本数据学习出超平面的方程

基于神经元的理解

其实感知机可以看成是一种非常简单的二层神经网络，输入层的内容是k维向量的k个特征，输出层的结果就是向量的分类情况(分为+1和-1)两种，而输出层的神经元存在一个阈值，如果超过了这个阈值，神经元就会被激活，神经元存在一个激活函数，因此这个二层神经网络可以用下面的式子来表示：其中就是每个神经元的权重，也对应于定义式中的，而阈值则是定义中的bias的相反数，函数f被称为激活函数，可以选用sign函数，也可以选用sigmod函数，这两个函数的区别是sign是实数域不连续的函数，而sigmod是连续的，当选取sign函数作为激活函数的时候，这个感知机模型的表达式就和超平面的理解中完全一致。