vc维

1. 什么是VC维
VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学习理论定义的有关函数集学习性能的一个重要指标。
传统的定义是：对一个指标函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的K次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。

VC维反映了函数集的学习能力，VC维越大则学习机器越复杂（容量越大），遗憾的是，目前尚没有通用的关于任意函数集VC维计算的理论，只对一些特殊的函数集知道其VC维。例如在N维空间中线形分类器和线形实函数的VC维是n+1。

2.VC维被认为是数学和计算机科学中非常重要的定量化概念，它可用来刻画分类系统的性能.

模式识别中VC维的直观定义是:对一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是它能打散的最大样本数目h，若对任意数目的样本都有函数能将它们打散.则函数集的VC维是无穷大。有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。VC维反映了函数集的学习能力，VC维越大则学习机器越复杂，所以VC维又是学习机器复杂程度的一种衡量。

换一个角度来理解，如果用函数类{f(z,a)}代表一个学习机，a 确定后就确定了一个判别函数了EF，而VC维为该学习机能学习的可以由其分类函数正确给出的所有可能二值标识的最大训练样本数。

VC维的直观定义是：对一个指标函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h种形式分开，则称函数集能够把h个样本打散(shatter)；函数集的VC维就是它能打散的最大样本数目h。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。

故有这样的结论，平面内只能找到3个点能被直线打散而不找到第4个。