本博客基于IAI Machine Learning & Pattern Recognition 课程知识点总结编写。

线性判别函数

问题背景和定义：

二分类问题中，希望使用线性分类器完成分类，使用准则函数反映分类器的性能。

所有样本的集合：
线性判别函数：
准则函数：
决策面：，将样本分为两类：如果；如果。其中，g(x)是x到面H的一种代数度量。
广义线性判别函数：使用增广样本向量和广义权值向量作为输入，可以保证欧式距离不变且决策面通过原点。判别函数形如其中。此时的决策面就通过了原点。

更一般地：可以先做映射，将x映射为，然后将这一向量y视为样本，使用y的线性判别函数。

这里使用的是广义线性判别函数，即增广向量y和权值向量w的点积（除以即为x在w方向的投影）。Fisher判别准则的思想是，使得每类样本类内的距离尽可能小，类和类之间的相互距离尽可能大。、

我们可以分别计算类间距离、类内距离。设的类均值为，类的均值为，则有：

由于要使总类内距离越大越好，Fisher准则函数定义为：

最佳投影方向即为：

为了求出，根据一阶条件，令:
$某个多项式$

有
$或$
二者的区别就是在决策面的w上乘了个常数（-1），对最终决策面在哪里并没有影响。

直观上来看，x投影到w上后，如果大于某个值，就归为类，否则归为类。因此，应该是投影后，两类间隔的中点，即：

补充一点：当先验概率不同时，这个结果会偏移为

同样使用增广样本y和广义线性判别函数。我们希望实现的目标是：找到一个权值向量w，使得

对其进行规范化：

这样规范化的好处是，所有被正确分类的样本都满足。此时采用的准则函数是：
$（$
其中表示错误分类的样本集，此时。

为了实现最小化准则函数的目标，可以采用梯度下降的方法：

怎么直观理解这样的做法呢？其实就相当于每次让权值向量朝着被分类错误的样本“靠近一点”。假设模型更新到第k轮时，规范化增广样本计算得到，但是我们最终的目标是希望，因此就让加上，使得结果增加了一点（更有可能大于0）。

如果样本是线性可分的，那么最终的结果一定收敛。

上面正确分类要求