线性判别回归

线性判别回归（精选七篇）

线性判别回归 篇1

关键词：人脸识别,线性判别回归,小样本问题,最近子空间,最远子空间,最近-最远子空间分类器

0 引言

人脸自动识别系统[1]通常使用人脸图像来识别特定的身份，已广泛地应用于生物特征认证的人机交互中，如视频监控和访问控制等[2]。学者们开发的大多数人脸识别系统都是从静态图像或视频图像中进行人脸识别，众所周知的方法包括主成分分析PCA(Principal Component Analysis)[3]、独立成分分析ICA(Independent Component Analysis)[4]和线性判别分析LDA(Linear Discriminant Analysis)[5]，这些方法都试图找到一个低维子空间并使用降维技术实现有效的人脸识别。尽管以前的研究试图尽力得到良好的特征提取结果，但最近的一些研究表明，即使是非常简单的非传统的特征，对于基于线性表示的方法来说都可以很好的工作。由此可见，设计这类分类器时，特征空间的选择和特征提取方法可能不如设计一个性能、鲁棒性良好的分类器重要[6]。

人脸识别研究中，学者们已使用过很多分类器来辨识脸部图像，其中，NFC因其有效性和简单性而颇受欢迎。最近邻分类器(NN)[7]试图寻找测试图像的最佳匹配，测试图像应该与它的最佳匹配有相同的类别标签。为了覆盖因光照、姿势、视角引起的大范围人脸图像变化，人脸识别系统需要大量的原型图像，极大地增加了内存和计算要求，更重要的是，实际中采集这么多原型图像很不容易，为了提高原型图像的表示能力，后续采用合并多个训练样本说明一个测试样本的方法。最近线性(NL)分类器是文献[8]提出的改进算法，文献[9]又对NL算法进行了一系列的修改和改进。文献[10]提出的最近平面(NP)分类器和最近空间(NS)分类器是NN和NL分类器的进一步扩展，利用一个对象的许多原型图像表示探针，解决了不同几何视角的表示问题。最近，文献[11]提出了NS方法的一个改进算法，用下采样图像作为特征进行分类。最近，许多研究提出使用多个类的原型图像表示探针，其中，基于稀疏表示的分类[12]引起了广泛的关注，随后产生了许多使用稀疏表示思想的新的方法，例如，为了使表示对无意义的点敏感，文献[13]提出一种新的框架，将相关熵准则引入了稀疏表示中。

基于上述分析，本文对NS方法进行了后续研究，提出了基于线性判别回归的最远子空间分类器和最近-最远子空间分类算法。首先为每个类定义一个“不考虑该类”(leave-one-classout)的子空间，包含其余类的所有图像;然后，提出了最远子空间分类器，通过线性判别回归[14]寻找与测试图像距离最远的“不考虑该类”子空间，然后划分这个测试图像到它所属的类。为了进一步提高FS的性能，提出了最近-最远子空间分类器，将NS和FS分类器混合，把测试图像分为一个类，满足类依赖子空间到测试图像最近，且“不考虑该类”的子空间到测试图像最远。实验结果表明本文算法明显改进了NS分类器的性能。

1 相关技术

1.1 线性判别回归

假设有N个对象，包含来自第i个类的pi个训练图像i=1,2，…，N，将图像投影至人脸空间上，矩阵W包含来自N个对象的所有特征向量，即W=[W1，…，Wi，…，WN]，为了应用回归分析估计类的具体模型，将有关类成员列向量wi,j组成集合，因此，对于第i个类，有:

式中，每个向量是一个大小为L×1的列向量，训练阶段，第i类由向量空间Wi表示，它称为每个对象的预测器。

如果y属于第i类，它可以由第i类训练图像的一个线性组合来表示，定义如下:

式中，βi∈Rpi×l是回归参数的向量。是一个误差向量，且其独立同分布随机变量的均值为零。线性回归的目标是找到来最小化剩余误差。

由文献[14]可知，线性回归是基于源向量和投影向量最小距离而开发的，如果源向量属于类i的子空间，预测向量将是离源向量最接近的向量。计算源向量和预测响应向量之间的欧式距离即可确认身份i*，即:

1.2 最近子空间分类器

选择好特征空间后，下一步是对新的测试样本正确分类。最近子空间NS(Nearest Subspace)分类器[10]是无参数算法中最重要的一个分支，而NN分类器是最简单可行的人脸识别方法，NS要寻找测试图像到所有原型图像距离最小的训练样本，然后确定测试图像的类标签。

首先，给出一个普通的人脸识别脚本描述，给定N个不同的类，第i类，i=1,2，…，N有pi幅原型图像，特征空间内每个原型图像表示为一个向量ai(m)∈Rq×1，其中m=1,2，…，pi和q是特征空间的维度。然后，对一个类的原型图像向量排列，构建一个类依赖子空间模型:

令y为特征空间内未标记的特征图像的点，然后计算y和子空间Ai之间的距离，也就是第i类给出的y和预测向量之间的差值:

式中，简单的由最小二乘估计得到:

式中，应该约束好，否则，需使用PCA使其可逆。最后，将y分类至有最小距离di的类。

然而，当测量测试图像和某个类之间的关系时，NFC算法只把在该单一类能力范围内的表示计算在内，却忽略了其它类也可以表示测试图像。

2 算法提出

2.1 最远子空间分类器

已知特定对象类的样本图像位于一个类依赖子空间，那么可以假设每个类依赖子空间有一些独特的基础向量，这些向量与其它类中的向量相互独立。因此，本文提出一种新颖的人脸识别思路，当一个查询图像被所有原型图像包括这个查询图像所在类的原型图像表示时，如果为第i类构建一个“不考虑该类”子空间，由所有训练图像包括第i类中的图像构建，则在所有“不考虑该类”子空间中第i类的样本到这个子空间距离最大。因为，在第i类的独特基础向量中只有这个类的“不考虑该类”子空间是独占的。

基于以上分析，本文提出了最远子空间FS(Far Subspace)分类器。首先，第i类“不考虑该类”子空间的线性模型通过排列N-1个类依赖子空间模型来构造:

类似于NS分类器，FS分类器仍然是一个简单的基于线性判别回归的方法，FS变量的确定定义为查询图像到“不考虑该类”子空间的距离，计算如下:

式中，，利用PCA使可逆，移除小的主成分。最后，分类探针到带有最大距离li的类。FS分类方法如算法1。

算法1最远子空间分类

1:输入:类依赖模型Ai∈Rq×pi、“不考虑该类”模型Bi=[A1A2…Ai-1Ai+1…AN],i=1,2，…，N、测试图像向量y∈Rq×1。

2:计算“不考虑该类”子空间Bi上的投影y。

3:计算y和之间的距离，

4:输出:测试图像来自有最大距离li的类。

2.2 最近-最远子空间分类算法

FS分类器和NS分类器都是基于回归的算法，但是它们采用了不同的类依赖子空间特性。NS测量测试样本与类依赖子空间的距离，而FS则是检索“不考虑该类”子空间包括测试样本的独特基础向量。直观上，本文希望构建一个新的可以利用这两类判别信息的分类器。必须指出的是，一方面希望这两类判别信息本质上不同，另一方面需要二者互助以增强判别力。

本文提出最近-最远子空间分类器，它分配一幅测试图像到某个类，这个类的类依赖子空间离测试图像最近，它的“不考虑该类”子空间离测试图像最远。NFS分类方法既要用到Ai，也要用到Bi，测量测试图像与第i类的这两类子空间的距离。定义NFS的决策变量为:

测试图像被分类至有ji最小值的类，此外，决策变量可定义为ji=λdi-(1-λ)li，其中，λ∈[0,1]，然后使用不同的λ值，权衡di和li。在这种情况下，使用最优λ可以得到最大识别率。然而，找到这个最优的λ并不容易，本文主要关注NFS判别的提升，所以本文使用式(9)作为NFS的决策变量。NFS分类方法总结为算法2。

算法2最近-最远子空间分类

1:输入:类依赖模型Ai∈Rq×pi、“不考虑该类”模型Bi=[A1A2…Ai-1Ai+1…AN],i=1,2，…，N、测试图像向量y∈Rq×1;

2:计算子空间Ai上的投影;

3:测量y和之间的距离，;

4:计算每个”不考虑该类”子空间Bi上的投影y,;

5:测量y和之间的距离，;

6:计算决策变量,i=1,2，…，N;

7:输出:测试图像来自有最小距离ji的类。

接下来，本文将对NFS和FS分类器的研究进行解释，讨论提出的NFS分类方法是否可以当作一个替代简单混合方法的单个分类规则。已知来自某个类依赖的人脸图像往往都位于一个线性子空间，且每个类依赖子空间都有一些独特的基础向量，即类依赖子空间不仅与许多类依赖子空间共享的常见基础向量有关，而且有它自己的基础向量。当原型图像足够多或者类依赖子空间实现时，查询图像可以使用它自己类的类依赖模型来表示，因为他们的类没有这些独特的基础向量。即NS分类器能够充分利用独特基础向量去进行分类。

理想的类依赖子空间应该覆盖人脸图像的大范围变化，但是人脸识别通常会有小样本(SSS)问题，实际类依赖子空间只能由较少数目的原型图像构成，其数目是远低于理想的类依赖子空间的。即SSS问题通常会导致类依赖子空间的不完善，这可能遗漏一些通用的基础向量。因此，尽管来自同一类的图像位于一个类依赖子空间，但是这样测量到的测试图像和不完善的类依赖子空间之间的距离就会与真正的距离值有偏离。

3 实验

在三个公开的人脸数据库上对本文算法做了测试，分别为扩展Yale B[3]、ORL[4]、AR[15]。数据库中包含有大范围的变化，包括姿势、光照和手势变化。许多特征提取方法都可以被用于降低原始图像的维度，以便消除“维度诅咒”，然后每个图像在特征空间的表示用于分类。近期的研究指出，关于特征提取，如下采样图像和随机投影这些简单特征可以依靠PCA、独立成分分析(ICA)、LDA等算法方便的实现。因此，本文的特征空间由下采样图像构建。文献[11]中描述了一种NS分类方法，称作基于线性回归分类(LRC)，它使用下采样图像作为特征，是对NS方法的改进。因为这个新提出的算法执行效果优于其他几个分类方法，所有用本文提出的算法与LRC算法作对比，也因此主要遵循文献[11]中的实验协议来进行实验，本文也使用低维下采样人脸图像。

3.1 扩展Yale B人脸库

扩展的Yale B人脸数据库由38个对象的2414张正面人脸图像组成(每个对象约64幅图像)。依据光照条件由弱到强将数据库划分为5个子集，图1描述了每个子集的四个例子。

下采样图像为20×20大小，子集1(每个子集包括7幅图像)的图像用于训练数据，其余的用于验证。子集2、3、4、5分别包含每个对象12、12、14、19幅图像。表1显示了本文提出的方法与其他方法的对比，包括NS、主成分分析(PCA)、独立成分分析1(ICA1)、线性判别回归分析(LDA)、SRC。使用L1LS算法求解SRC中的l1-最小化问题，L1LS可以为人脸识别问题得到高识别率。PCA和ICA算法中，样本需要靠一些特征向量转换到一个低维子空间中，实验中用足够多的成分来保留超过99%的方差。

从表1可以看出，对于子集2、3,NS、FS、NFS的准确率非常高，接近100%，对于子集4、5，尽管FS不能与NS相提并论，但是，NFS的执行效果比NS分别高出3.83%、9.17%。由此可以推出，NFS分类器在对抗光照变化方面的鲁棒性要比NS分类器好。当测试样本严重受光照影响时，NS和本文提出的算法要优于其他算法。

为了评估本文算法的计算开销，列出了CPU时间，这个时间是依据探针数目划分的总的识别时间，如表2所示。

从表2可以看出，经典算法的计算开销，包括PCA+NN、ICA1+NN、LDA+NN均很低，因为在特征提取阶段之后，NN的复杂度是很低的。由于“不考虑该类”子空间模型Bi比类依赖子空间模型Ai大，FS完成识别消耗的时间比NS多。根据前文描述，帽子矩阵的计算在训练阶段独立于测试样本，这可以确保本文提出的方法和NS的高效率。但是，SRC需要平均超过1s的时间才能识别测试样本，比其它算法消耗的时间长更多，因为SRC需要为每个测试样本求解一个l1-最小化问题，这是比较耗时的。

正如前文所述，FS和NFS使用PCA降低Bi的维度，上述实验为了避免奇异，保持了BiTBi的前99个主成分，这会保持矩阵超过99%的方差。

图2所示为在扩展的Yale B数据库上子集4中使用NFS和FS相对于BiTBi各种维度的识别率。

从图2可以看出，BiTBi的维度对FS有严重的影响，意味着如果只保持小数目的样本图像，独特基础向量会缺失。尽管FS执行效果并不好，NFS仍比NS的效果好，相对于增长的维度，NFS和FS的性能几乎会同步增长，表明FS给出了可靠的协助去提高NS的识别能力。

上述实验中，本文的目的是演示NFS对NS分类器的改进。以前的研究中样本图像下采样为同样大小，而实际上使用高维样本可以提高FS和NFS的识别能力，如图3所示为FS及NFS在扩展Yale B数据库子集5上相对于预测图像特征维度的识别率。

从图3可以看出，识别率随着维度的增大而提升，因此，高维对提升FS和NFS分类器的识别率是有益的。理由是高维特征空间可以包含每个类的非常丰富的独特基础向量，这对提升FS和NFS的判别是有益的。

3.2 ORL数据库

ORL人脸数据库中有40个对象，每个对象10幅图像，数据库中纳入了各种变化，包括脸部姿势变化、改装(戴不戴眼镜)、小角度脸部转动(小于20度)。大小为112×92的图像训练和测试时均被下采样为10×5大小，如图4所示为ORL人脸数据库上某人的10张人脸图像示例。

为了对NS、FS和NFS与其他方法对比，该实验遵循文献[14]中的两个评估协议。对于评估协议1(EP1)，前5个图像用作原型图像，剩余5个图像作为测试图像。评估协议2(EP2)采用“留一法”策略。表3给出了实验结果，图像被下采样至较低的50D，这仅有的40个对象对于FS来说是吃亏的。

从表3可以看出，两个评估协议中，ERE的结果都是最好的，比NFS和SRC要好2%。ERE是最近提出的一个基于特征值的特征提取算法，首先分解图像空间的特征向量到三个子空间，然后分别基于不同的特征谱模型进行规整，提取的特征值在噪声和训练样本数目限制方面的鲁棒性都很好，因此，能够取得最高的识别率。NFS分类器不仅使用了查询图像和类之间的相似度，还采用了查询图像与其他类之间的不相似度，当训练样本足够多时，也能取得相当好的效果，在评估协议2中，NFS的识别率可高达99.25%，该结果与ERE相同，在两个评估协议下，NFS的执行效果明显优于Fisher脸、特征脸、SRC、核特征脸和NS。

3.3 AR数据库

AR人脸数据库包括70个男性56个女性的4000幅图像，这些图像包含有六类差异:脸部表情变化(无表情、微笑、生气、尖叫)、不同的光照变化、遮蔽(太阳镜和围巾)。本文从原始AR数据库选择100个对象(50个男性和50个女性)用于实验，所有的图像下采样为10×10大小，本小节中，对脸部表情变化、不同光照条件、不同遮蔽物三种情况分别进行了三个实验。

首先，测试本文提出的方法能否应对脸部表情变化的挑战。图5显示了AR数据库中一个对象的4个不同的脸部表情。实验中采用了交叉验证策略，每次验证，训练样本包括三个不同的表情图像，剩余的图像作为探针。实验结果如表4所示，本实验中NS和NFS分类器对所有脸部表情都能达到很高的识别率，且对应的识别精度几乎相同。

接着，在不同光照条件下验证本文提出的方法，共包括四种光照条件:柔光、左侧光、右侧光、所有的测光(如图6所示)。实验仍是基于交叉验证，每次实验，不同光照条件的每个人6幅图像用于训练，其余的图像用于测试。表5给出了实验结果，本实验中，NS和NFS可以给出左侧光和右侧光条件下没有任何错误的图像预测。

最后，使用图7所示的图像预测有遮蔽的图像，包括戴太阳镜和围围巾两种遮蔽方式，对于戴太阳镜遮蔽，只使用前半部分图像，因为后半部分几乎被太阳镜全覆盖了，也就没有相关的判别信息，在这种情况下分类在50D特征空间执行。近几年对有连续遮蔽的人脸识别进行了大量的研究和调查。本实验比较了本文提出的算法和其他著名的算法，包括PCA、ICA1、局部非负矩阵分解(LNMF)、基于稀疏表示的分类(SRC)。NFS分类器在两种有遮蔽的条件下执行效果均优于其他算法，实验结果如表6所示，结果表明，本文算法的识别率明显高于其他各个算法。

4 结语

本文提出了两种新颖的分类算法。首先提出了FS分类器，FS中“不考虑该类”子空间的概念，测试样本到每个“不考虑该类”子空间的距离表示这个探针的标签，验证了本文的假设，即每个类在类依赖子空间内有它自己独特的基础向量。实验结果表明FS分类器可以达到可接受的识别精度，当原型图像数目很小且样本中包含了各种变化时，FS分类器的执行效果比其他算法更好。接着，本文提出了另外一种基于线性回归分类的NFS分类算法。尽管近期的研究表明用下采样图像作为特征图像的NS分类器已经可以得到很好的人脸识别效果，但是本文在3个不同的人脸数据库上进行的实验表明，本文提出的NFS分类器的识别精度比NS还要高。

线性判别回归 篇2

应用多元线性回归分析法处理多氯联苯(PCBs)标准样品和实际样品的气相色谱数据,定量判别PCBs污染物类型,该法简便易行,可以避免由主观判断引入的偏差.对于PCBs标准样品Aroclor 1248及PCBs配制样品,污染物组成计算结果与实际值吻合,绝对误差小于2%.实际土壤样品的`分析计算结果表明:北京土壤样品PCBs污染物是Aroclor 1242;兰州土壤样品PCBs污染物是49.0%的Aroclor 1242和51.0%的Aroclor 1254的混合物.应用多元线性回归分析法处理气相色谱分析数据,还可以作为一种质量控制的手段来识别干扰物.

作 者：祁辉 李玉武 刘咸德 董亮 封跃鹏 吴忠祥 QI Hui LI Yu-wu LIU Xian-de DONG Liang FENG Yue-peng WU Zhong-xiang 作者单位：祁辉,李玉武,QI Hui,LI Yu-wu(国家环境分析测试中心,北京,100029)

刘咸德,LIU Xian-de(中国环境科学研究院,北京,100012)

董亮,封跃鹏,吴忠祥,DONG Liang,FENG Yue-peng,WU Zhong-xiang(国家环境保护总局标样研究所,北京,100029)

线性判别回归 篇3

关键词：人脸识别；非负矩阵；线性判别；正交化向量

中图分类号：TP391.41文献标识码：A文章编号：1007-9599 (2011) 07-0000-02

Research on Face Recognition Technology

Tian Fan,Song Xianqin

(Electronic Information Engineering College,Liaoning University of Technology,Jinzhou121001,China)

Abstract:Non-negative matrix method is based on local feature extraction algorithm.Considering the algorithm can't tell image’s classification,this article combine NMF and LDA algorithm,and give an improved method.Through making vector of base matrix orthogonal,infor-

mation redundancy is eliminated and the calculation speed is higher than before.The experiments results show that is effective.

Keywords:Face recognition;Non-negative matrix factorization;Linear discrimnat analysis;Orthogonal matrix

人脸识别技术是计算机视觉信息处理领域的热点问题。由于人脸包含有独特的生物特征，利用人脸进行身份鉴定简单方便，容易被人接受，人脸识别系统广泛应用于海关、安防系统等领域。特征的提取和分类是人脸识别关键的两个步骤，特征提取方法有两类：基于整体特征提取和基于部分特征提取。基于整体特征利用人脸部灰度信息及部件间的拓扑关系，根据不同的目标函数，将人脸中高维特征映射到低维空间，实现提取特征和维数约减；主要包括主成分分量、独立成分分析、奇异值分解等，但其基矩阵均含有负值，而实际中负值没有物理意义。1999年，Lee和Seung提出的NMF算法[1]（Nonnegative Matrix Factor）是一种基于局部特征提取方法。非负矩阵算法在矩阵分解中加入了非负的约束条件，使得所有元素均为非负值，重建未知模式类的图像是由非负基图像通过纯加性构成，满足了人类视觉中局部构成整体的的观念，其明确的物理意义容易被人理解。非负矩阵算法直接处理矩阵，将原始高维矩阵分解为左右两个低维矩阵，占用空间小，为处理大规模人脸数据库开辟了新途径。研究发现，对 添加更多约束条件，能够得到更加具有代表性的基矩阵，基于此思想，Li[2-3]等人提出了局部非负矩阵分解的算法。（Local Non-negative Matrix Factorization.LNMF），此方法能够进一步提取局部特征；Wang Y[4]等人结合PCA和NMF，提出了PNMF算法；Hoyer[5]提出了基于稀疏NMF人脸识别算法，通过增加NMF分解的稀疏性，生成高度稀疏的基矩阵，基矩阵越是稀疏，其对应系数矩阵H越能表示出人脸特征的集中程度；Guillamet[6]等人提出基于加权非负矩阵分解算法，通过引入对角矩阵W，使该矩阵对角线上的元素能够反映出各个样本向量的重要性。

针对非负矩阵算法无类别鉴别能力这一缺点，本文融合非负矩阵与线性判别进行人脸识别，提出一种改进的人脸识别方法，该方法将非负矩阵的基正交化，去除信息冗余。该方法具有良好的识别率，且具有良好的分类特性。

一、算法基本原理

（一）NMF定义

非负矩阵可用下式描述：

（1）

其中，人脸图像集 是m张n维的图像矩阵， 和 为n×r和r×m的非负基矩阵因子和系数矩阵因子； 为图像列矢量， 的r列数是基图像个数，r取值满足 ，由于 ，用H代替原矩阵进行运算，将 维原数据降为 数据。样本图像 可以用 线性表示， 为系数矩阵的第j列向量。

NMF算法的基本思想：在一定约束条件下，寻找两个非负矩阵W和H，使以下代价函数最小。

（2）

（二）局部非负矩阵分解算法

传统NMF算法没有引入对空间位置的约束条件，其最小化目标函数很难产生特征因子表征原特征。因此，引入三个条件约束传统NMF基矩阵并学习其局部特征，得到局部非负矩阵分解算法LNMF（Local Non-negative Matrix Factorization）。实验证明，LNMF对于人脸局部特征的学习效果很好。

LNMF[7]算法的代价函数为：

（3）

其中， 和 为大于0的常量因子；W和H满足 ，对于 ， ，且：

， ， 。其迭代规则为

； （4）

LNMF求解 和H的问题转化为以上问题的最优化。

（三）基于基正交局部非负矩阵分解与线性判别相结合的方法

非负矩阵分解是基于局部特征的分解方法，利用了人脸局部轮廓特征与灰度分布，但没有考虑到图像类别信息，因此受光照等影响很大。针对此问题，本文提出LNMF与LDA相结合算法。

1.正交化向量

NMF得到的基矩阵W是非正交矩阵，而向量的非正交会造成信息冗余，增加识别的难度，本文将得到的W矩阵进行正交化处理，消除各向量间影响，达到更好的识别效果。

设非零列向量 是向量空间V的基，其规范正交化过程如下：

令 ； ；（5）

具有正交性且 与 等价。将其单位化得到规范正交基：

（6）

2.线性判别法

在非负矩阵降维基础上，利用LDA对训练样本的类间信息设计分类器，寻找一组基使类间散度和类内散度的比值最大。

（7）

（8）

根据所求类内和类间的散度矩阵，求解最佳鉴别矢量W，使最佳映射矩阵值最大。定义Fisher准则为：

（9）

二、算法流程

本文采用了标准ORL人脸库为实验对象。ORL库包含40人的400幅112×92像素的人脸正面图像，每人各有姿态、角度、表情、不同的光照等变化10幅图像。ORL库中部分图像如图1所示；图2为经直方图处理的人脸图像，处理后人脸图像特征更加明显；图3是部分的LNMF基图像。

（1）图像预处理。

（2）获取初始矩阵。本文任取每类图片中5幅共计200幅图片作为训练图像，其余的5幅图像作为识别图像；将图像像素压缩成50×50大小，得到了一组初始矩阵X，矩阵大小为2500×200。

（3）根据对X进行矩阵分解，交替迭代W和H，直至代价函数收敛。

（4）将所求得的特征系数H分成C类模式，每一类中有ni个特征向量， ，求出总类内散度和类间散度矩阵Sw和SB，并利用下式求其特征值和特征矢量。

特征矢量矩阵即线性判别的基矩阵WLDA

（5）结合LNMF和LDA的基矩阵，则得到最优的子空间。

（6）正交化组合基矩阵

（7）将训练图像投影到 中，得到了特征系数矩阵 ，将所有的特征系数融合，得到

（8）将测试图像按步骤（7）处理，得到测试特征系数

（9）利用欧式距离分类器，计算 ，取其最小值并将人脸化为相应的第 类。

三、实验结果与分析

本实验将PCA、LDA、传统NMF和改进LNMF与LDA相结四种算法在同一条件中进行人脸识别，并比较其识别率。本文将ORL数据库中的每类任选共200幅图像作为训练图像，其他作为测试图像，图像为50*50的大小。

图1 ORL部分人脸库图2 预处理后的图像

识别方法识别率

PCA

LDA

NMF

本方法90.5%

91%

85%

96%

图3 部分基图像 表1 不同算法识别率的比较图

由以上看出，本文采用的改进LNMF与LDA相结合算法识别效果最好，但其缺点是需要做大量运算。单独运用NMF对图像进行识别时，得到的识别率并不高，是因为NMF是基于人脸部件的拓扑关系以及局部的灰度信息来提取特征，并没有辨别类别的能力；而LNMF与LDA相结合的方法，不仅有效的利用率局部的信息且具有分类的能力，所以识别率得到提高。

四、结语

本文融合局部非负矩阵和线性判别法进行人脸识别，并提出了其改进算法。通过对基矩阵实施正交变换，使各基向量之间独立，消除了信息冗余问题。采用分类后的NMF利用了图像的类别信息，达到了较好的识别率。

NMF算法也存在一些缺点，由于其迭代计算，算法收敛速度很慢，如何进行算法快速迭代是下一步需要考虑的问题。

参考文献：

[1]LEE D D,SEUNG H S.Algorithms for nonnegative matrix factorization.Proceedings Neural Information Processing Systems,2000,13:556-562

[2]Li S Z,Hou Xinwen,Zhang Hongjiang,et al.Learning Spatially Localized,Parts-based Representation.Proc.of CVPR 01Hawaii,USA:IEEE Press,2001

[3]Feng T,Li S Z,etal,Local.Non-negative Matrix Factorization as a Visual Representation.Proceedings of the 2nd International coference on Development and Learning Cambridge.UK.USA:IEEE,2002:178-183

[4]Wang Y,JIa Y.Non-negative Matrix Factorization framework for face recognition.International Journal of Pattern Recognition and Artificial Intelligence,2005,9(4):495-511

[5]Hoyer P O.Non-negative Sparse coding.IEEE Workshop on Neural Signal Process,Martigny,Valais,2002:556-565

[6]Guillamet D,Bressan M,VitriàJ.A Weighted Non-Negative Matrix Factorization for Local Representations.In:Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2001.Hawaii,USA,2001:942-947

线性判别回归 篇4

线性分类器是统计模式识别中最简单的一类[1]。它假设两类样本可以被一个超平面粗略的分开,很多情况下可以得到不太差的结果,由于不容易产生过拟合,有时甚至能获得比复杂分类器更好的效果。并且由于对计算资源要求低,容易实现,在实际中被广泛应用[2]。常见的线性分类器有Fisher线性判别式(FLD)[3]、单层感知器[4]以及线性支持向量机[5]等。

FLD通过最大化准则函数—类间散度和类内散度之比来寻找最能将样本分开的投影方向,通常能取得比较好的效果[6]。但是FLD只能确定决策平面的法向量,却不能确定最终决定分类平面位置的阈值[7]。常用阈值在不平衡数据集中往往过分偏向某类样本,导致分类效果不佳[8]。本文通过研究在不平衡数据集中各种阈值对FLD分类性能的影响,提出影响分类器性能的主要是样本分布区域的不平衡,而不是样本数的不平衡。考虑到样本数和样本分布区域等因素,我们提出多个经验阈值以及根据分类精度或具体的评价指标,选择优化阈值。不同阈值可能适用不同的样本分布,实验证明利用本文提出的阈值优化选择方法,在实际中根据具体情况选择合适的阈值,确实可以提高分类性能。

1 FLD基本原理和常用阈值

在两类{ω1,ω2}问题中,用x=(x1,x2,…,xn)T表示n维输入空间中一个样本,则线性分类器的判别函数可以表示为:

其中,w=(w1,w2,…,wn)T为权向量,θ=-w0为阈值。从而:

就是决策平面,其中w就是决策平面的法向量。于是g(x)>0时可以决策x∈ω1,g(x)<0时x∈ω2。

Fisher线性判别式通过最大化准则函数[6]:

找到一个投影方向w,把n维样本按此方向投影后,能够最大限度区分各类样本,其中μw(1)、μw(2)分别表示两类样本在投影方向上的均值,分别表示两类样本在投影方向上的类内散布[7]。用u1、u2表示原样本空间中两类样本的均值向量,则有:

这样式(3)便可写成关于w的表达式:

其中SB代表类间散度矩阵,SW代表总类内散度矩阵,且:

化简式(5),最终可得权向量为:

从式(8)中可以看出权向量只受到类内散布矩阵和两个均值向量的影响。

通过最大化准则函数可以确定最佳投影方向,但是当样本按投影方向投影到一维空间后,还需在一维空间中确定一个点即阈值θ,来将两类样本分开。不同阈值对分类结果影响很大,常用的阈值有θ1和θ2[6]。

阈值θ1即样本总均值在w方向上的投影。设第p个训练样本xp的期望输出为dp,两个类别{ω1,ω2}中所有训练样本的误差平方和为:

令可得:

令ε是一个充分小的正数,当xp属于第ω1类时,dp→ε,当xp属于第ω2类时,dp→-ε,则:

实际上dp代表了样本到决策平面的代数距离的期望值,ε→0就意味着所有样本全部落在决策平面上,这与实际情况不符,所以采用阈值θ1的分类器效果可能不会很好。

假设两类样本的类条件概率密度都服从正态分布,由最小贝叶斯误差率原则可知在决策点即阈值θ处满足后验概率相等,即:

其中σw(1)和σw(2)分别是ω1和ω2两类的样本在投影方向w上的标准差。当先验概率P(ω1)=P(ω2)且σw(1)=σw(2)时根据式(13)即可得出阈值:

即投影均值的中点阈值θ2。

2 经验阈值及其优化

2.1 样本不平衡因素

在研究不平衡数据集时,通常用两类样本数之比,即负类(样本数多的一类)样本数/正类(样本数少的一类)样本数,来表示样本集的样本数不平衡率。然而影响不平衡问题的因素除了样本数外还有样本分布区域的不平衡,而且对于线性分类器,样本分布区域不平衡的影响更大。

假设两类样本集中正类样本数为3,负类样本数为30,不平衡率为30/3=10。如图1所示,负类样本数和样本分布区域都大于正类,采用阈值θ2时,决策平面偏向多数类方向,原本线性可分的样本集却没有被全部正确分类。图2所示两类样本数不变,仍是负类样本数大于正类样本数,但是负类样本分布区域小于正类,此时决策平面的位置偏向了少数类。从样本数来看,样本数不变,决策平面偏向的方向却完全相反;从样本分布区域来看,分布区域大小变化,决策平面偏向的方向也相反。因此我们认为决策平面位置的变化主要受样本分布区域而不是样本数的影响。

图3中两类的样本数依然不变,分别为3和30,但是由于其分布区域大小基本相同,此时FLD分类器可以很好地将两类样本分开,两类样本到决策平面的最小距离基本相同。图4中尽管两类样本数平衡,但是样本分布区域却不平衡,此时决策平面仍然会偏向样本分布区域大的一方,对其不利。

2.2 经验阈值

在不平衡数据集中常用阈值会使得分类器对某一类样本有利,而对另外一类不利,而这是我们不希望看到的,因此本节将样本不平衡因素考虑进去,提出几个经验阈值。

由式(14)可以看出,θ2与样本数和分布区域无关,只要两类的均值向量不变,阈值就不变。

当样本数对多数类非常不利。

受θ1启发,将两类样本数N1、N2的位置调换,可得:

与θ1相反,当,对多数类有利,少数类不利,即当样本数不平衡时对多数类的识别率较高,少数类的样本识别率较低。

阈值θ3和θ1只考虑到了样本数,没有考虑到样本分布。用各类在投影方向上的标准差σw(1)、σw(2)的差异来表示各类样本分布区域的不同,可以得到:

当ω1类的分布区域大于ω2类时,阈值θ4会向ω2类方向移动,对样本分布区域大的类有利,与样本数没有直接关系。

将θ3与θ4结合起来,θ5考虑到了样本数和样本分布区域两个因素:

实验证明在样本充足时,随着样本数不平衡度的增加,θ3的变化要大于θ5,从而θ5与θ3一样有利于多数类。

定义类内总体绝对偏差为:

同样考虑到样本分布区域,但是用类内总体绝对偏差表达样本分布区域的差异,可以得到阈值:

从计算过程可以看出,它也会受到样本数的影响。

前提条件变为先验概率相等即P(ω1)=P(ω2)但是标准差σ(1)w≠σ(2)w时根据式(13)可以得到:

解此方程可以得到另外一个阈值:

阈值θ7考虑到实际中两类样本方差不一定相同的情况,可能会取得比较好的效果。从式(22)可以看到,其最终结果只用到了样本投影均值和方差,所以θ7受样本数影响不大。

由于最终阈值必定在两个投影均值之间,所以可以只利用其投影位于区域[μw(1),μw(2)]之间的样本,这样根据θ6可得:

与θ6的计算过程相似,会受到样本数的影响。

定义类内总体平均绝对偏差为:

用其代替θ6中的总体绝对偏差,可得:

可以看出是Nj个样本到均值的绝对偏差的平均,比较受到样本偏差的影响,与样本数目关系不是很大。

同样只考虑两个投影均值之间的样本,可对应得到:

将以上各阈值取平均,可得到θ11:

在统计学习理论中,经常用经验风险最小函数来近似期望风险最小函数,原因是在过去风险最小的在将来也很有可能风险最小[9]。在实际应用中每个数据集的样本分布都不相同,我们可以在上述11个阈值中选取能使当前数据集的分类误差最小(整体识别率Acc最大)的阈值作为当前阈值,所以第12个阈值可以表示为:

其中Ne(1)q-tr、Ne(2)q-tr分别代表类别ω1、ω2中被错分的样本数。w代表投影方向,θq,q=1,2,…,11代表第q个阈值。

对于不平衡问题,总体分类误差往往不能很好地衡量分类器的性能。对于样本数极度不平衡数据集,把所有样本都归为样本数多的一类,仍然可以得到很好的Acc值,但这时少数类的识别率却为零。我们常采用两类的平均识别率:

或几何识别率:

来衡量分类器的性能。其中tprate=被正确分类正类样本数/正类样本总数,tnrate=被正确分类的负类样本数/负类样本总数。当我们以Avc或G-mean作为分类器的评价指标时,则同样的方法,这时可以定义θ12为上述11个阈值中能使当前的Avc或G-mean值达到最大的阈值。

3 实验结果分析

本文用到的数据集全部来自KEEL-dataset数据库[10]。这些数据集都是两类分类问题,且具有不同的不平衡率。

3.1 阈值比较实验

本实验对使用了前11个阈值的FLDs进行比较,共用到了95个不平衡数据集,不平衡率最小为1.8,最大为129,由于篇幅关系不再具体列出。

记阈值为θq,q=1,2,…,12的FLD为FLD_θq。分别用分类器FLD_θq,q=1,2,…,11这11个分类器对95个数据集进行分类,并记录分类结果,包括它们的Acc、Avc和G-mean。

对于每个数据集,11个FLDs将得到11个不同的Acc结果,根据Acc值的高低对11个FLDs进行排序,可以它们的Acc排名。对每个FLD,求其在95个数据集上的Acc排名的均值,即可得到FLDs的Acc平均排名。

同样的方法可以得到FLDs的Avc和G-mean平均排名。

表1中分别列出了FLD_θq,q=1,2,…,11的Acc、Avc、G-mean值的平均排名。

从表1中可以看出,θ4、θ7、θ9、θ10这四个阈值可以得到Avc,G-mean比较高的FLDs,这说明阈值θ4、θ7、θ9、θ10对解决不平衡问题比较有效。θ3、θ5、θ6、θ8这四个阈值可以得到Acc比较高的FLDs,但是由于Acc指标本身对不平衡数据集的评价缺陷,经常不作为评价不平衡问题的指标。结合2.2节的分析,前四个阈值都考虑到了样本分布区域,且受样本数的影响不大,后四个阈值都受到样本数的影响,从而验证了FLD更容易受到样本分布区域不平衡的影响,而不是样本数的影响。FLD_θ2和FLD_θ11基本上处于排名的中间位置,FLD_θ1基本处于最后一位或倒数第二位。

3.2 优化阈值选择实验

在实际应用中,需要根据样本具体分布情况不同,选取适合当前数据集的阈值。本实验验证了利用θ12选择优化阈值可以提高分类性能。

本实验用Avc作为分类器的评价指标,θ12定义为前11个阈值中使当前Avc值达到最大的阈值。分别用分类器FLD_θq,q=1,2,…,12这12个分类器对数据集进行分类,并记录结果。

表2列出了所用到的数据集的统计信息。

表3列出了FLD_θq,q=1,2,…,12这12个分类器对这些数据集分类的Avc,其中最大值已经用加粗标识出来。

可以看出,得到最高Avc值的阈值尽管不完全相同,但都是θ4、θ7、θ9、θ10中的某个。除少数数据集如ecoli_0_1_4_6_vs_5和yeast6除外,再次验证了之前的结论。通过θ12选择合适的阈值,确实可以提高分类器的分类性能,例如对数据集page_blocks0,平均精度Avc从θ1的82.88%提高到θ10的86.70%。

4 结语

线性分类器虽然属于最简单的一种分类器,但在实际应用中往往能取得比较好的结果。在FLD中,阈值最终决定了决策平面的位置,在不平衡问题中,常用阈值往往会出现偏差,致使分类性能变差。本文研究了不平衡问题对FLDs阈值的影响,提出主要影响FLD性能的不平衡因素是样本分布区域的不平衡,而不是样本数的不平衡,并且提出一些经验阈值以及根据分类精度选择优化阈值。实验证明,考虑到样本分布的阈值对解决不平衡问题更有利,以及在具体问题中利用所提出的优化阈值选择方法选取合适的阈值确实能在提升分类效果,在实际应用中有指导作用。本文主要关注的是两类问题下的阈值选取问题,而在多类情况下阈值的选取问题可能会更加复杂,我们今后将把问题关注于多类问题的情况。

摘要：Fisher线性判别式FLDs(Fisher linear discriminates)的常用阈值对不平衡数据集分类效果较差。以不平衡数据集为应用背景,主要研究各种阈值对FLDs分类性能的影响。认为影响FLDs性能的主要是类间分布区域不平衡而不是样本数不平衡,因此提出多个经验阈值,并依据分类精度从中选择优化阈值。大量实验结果表明,所提出的阈值优化选择方法能有效提高FLDs对不平衡数据集的分类性能。

关键词：分类,Fisher线性判别式,阈值,不平衡数据集

参考文献

[1]Jain A K,Duin R P W,Mao J C.Statistical Pattern recognition:a review[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(1):4-37.

[2]BekiosC alfa J,Buenaposada J M,Baumela L.Revisiting linear discriminate techniques in gender recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(4):858-864.

[3]Rozza A,Lombardi G,Casiraghi E,et al.Novel Fisher discriminates classifiers[J].Pattern recognition,2012,45(10):3725-3737.

[4]Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[5]Müller K R,Mika S,Rtsch G,et al.An introduction to kernel-based learning algorithms[J].IEEE Transactions on Neural Networks,2001,12(2):181-201.

[6]Duda R O,Hart P E,Stork D G.Pattern Classification[M].2nd ed.New York:John Wiley&Sons,Inc,2000.

[7]Gao Daqi,Ding Jun,Zhu Changming.Integrated Fisher linear discriminates:An empirical study[J].Pattern Recognition,2014,47(2):789-805.

[8]He Haibo,Edwardo A G.Learning from imbalanced data[J].IEEE Transactions on Knowledge and Data Engineering,2009,21(9):1558-1571.

[9]Pernkopf F,Wohlmayr M.Tschiatschek S.Maximum margin Bayesian network classifiers[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(3):521-532.

线性判别回归 篇5

为了提升非限制环境中的人脸识别, 学者们提出了许多基于类标签信息的人脸识别方法。这些方法大致可分为两类:面向特征的方法和面向相似性的方法。前者的目的是提取人脸表示的有效特征, 而后者更注重对人脸相似度的计算。

在面向特征的方法中, 基于局部描述符的方法更受欢迎。例如, 文献[2]提出了三小块局部二值模式 (LBP) 和四小块LBP, 编码像素的邻近小块之间的相似性, 以捕捉到原始LBP特征的互补信息。文献[3]用视觉单词的多区域概率直方图描述每个人脸。文献[4]通过使用一种无监督学习为基础的编码方法来编码人脸的微观结构。文献[5]提出了一个在面向量基础上的具有判别性及强大功能的特征描述符, 称为面向模式的边缘量 (POEM) , 通过应用基于自相似结构建立。文献[6]使用了生物启发的视觉表示, 它由特征搜索来选择。此外, 利用人脸图像之间的相似性作为特征。文献[7]利用人脸的相似性提出了一种简单的分类器, 使用一些具体引用的人作为特征。文献[8]使用与查询图像最相似的图像的排名作为此查询图像的描述符。

面向相似性的方法针对两个人脸图像之间新的度量计算, 通常情况下, 采用一次性相似, 测量各样本属于相同的类的可能性。各自利用类标签信息, 进一步延长至一次性相似及多个一次性相似。文献[9]使用局部描述符的特征差异获得了相似性, 其中, 局部描述符通过图像采样而来, 图像由非常随机的二进制树量化得到。文献[10]提出了2个距离度量, 包括基于逻辑判别的方法和基于最近邻的方法, 计算了2幅图像属于同一类的概率。

上述许多方法往往采用典型的二值SVM分类器, 处理边信息这一情况。然而, 多级的方法, 包括Fisher脸方法及其众多的扩展, 不能在这种情况下使用, 因为在图像限制评价模式中, 没有提供关键的类标签信息。所以在这项工作中, 本文提出了一个基于线性判别分析的边信息 (SILD) 方法, 该方法只用边信息就可很好地工作, 其中, 类内和类间散布矩阵直接利用边信息计算出来。值得一提的是, 本文的方法不同于二值费舍尔线性判别分析FL-DA, 具体可以通过二值FLDA获得投影方向, 但是, 用本文的方法, 可以获得更多投影方向。

1 基于线性判别分析的边信息

在本节中, 首先给出FLDA的简要说明, 然后提出SILD方法的定义, 它适用于边信息的情况。最后证明了当提供了类标签时, 新定义等价于传统的定义。

1.1 费舍尔线性判别分析 (FLDA)

费舍尔线性判别分析的目的是, 通过最大化类间散布矩阵行列式与类内散布矩阵行列式的比例, 找出一组最具判别性的线性预测

类内散布矩阵SW及类间散布矩阵SB的定义如下

式中:c是训练集中类的数目;xij是ith类的第j个样本;ni是ith类的样本数;mi是ith类的平均值;m是训练集中所有训练样本的平均值。式 (1) 中的问题可用两步法加以解决。

首先, SW定义如下

第二, SB定义如下

最后, 投影矩阵计算如下

式中:H和U是正交矩阵;Λ和Σ是对角矩阵。

1.2 基于线性判别分析的边信息

在FLDA中, 需要知道每个样本的类标签, 只要在边信息的情况下, 它就不能正常工作。边信息是一种弱标签信息, 显示出了一对图像是否属于同一类。在这种情况下, FLDA无法工作, 因为没有完整的类标签信息, 所以不能计算出SW和SB。

为了解决这个问题, 直接利用了边信息, 为SW和SB提出了一个新的定义。具体地说, 同类的图像对直接用来计算类内散布矩阵, 同时, 不同类的图像对用来计算类间散布矩阵。

用S={ (xi, xj) :l (xi) =l (xj) }来表示同类图像对的集合, 用D={ (xm, xn) :l (xm) ≠l (xn) }表示不同类图像对的集合, l (x) 表示图像x的类标签。然后, 类内和类间散布矩阵可分别定义如下

在FLDA中, 比较式 (2) 与式 (3) , 新定义并不需要知道每个样本的标识, 并且只使用弱监督边信息, 直接计算出总的类内和类间散射矩阵。

与FLDA相似, 通过解决下面的最优化问题, 可以获得SILD中的投影矩阵

同FLDA一样, SILD在式 (10) 中也可以由式 (4) ~式 (7) 解决。显然, 集合S和D的大小可以影响Sw和SB新定义的稳定性。一般来说, SILD中, 类标签信息只可以生成一小部分图像对。在这种情况下, 新的类内散布矩阵可能有大量非常小的特征值。为了抑制由小特征值造成的不稳定, 在实现中, 当类内散布矩阵对角化时, 只使用最大特征值所对应的特征向量。第一步, SWstld定义如下

定义Λ'作为Λ的列的一小部分, 其具有与顶端整体能源对应的特征值。在这项工作中, Λ'用于计算式 (5) ~式 (7) 的Λ, 以此来解决不稳定性。正如在实验中, 边信息越少, 小特征值的数目越多。所以, 给定较少的边信息, 对应于较小部分的Λ', 可以实现更好的性能。通常, 对应于顶端80%~90%整体能量的Λ'可以很好地运行, 它大约是Λ的行的30%。

1.3 已知类标签的情况下, FLDA与SILD的等价性

在本节中证明了当提供类标签信息时, 提出的SILD与FLDA等价。具体而言, 如果所有的类具有相同数目的样本, SILD与FLDA相同;否则, SILD可看作是FLDA的一个变种。

在这里假设, 有c个类的r个样本, 第i个类包含ni个样本。如果提供了类标签, 相同类图像对的集合S, 应该包括属于同一类所有可能的图像对, 而不同类的图像对的集合D, 应该由不同类标签的所有图像对组成。SILD类内散布矩阵可以表示如下

如果所有的类具有相同数目的样本, 记为n, SILD中类内散射矩阵可以进一步写成

这意味着, 新定义的类内散布矩阵等价于FLDA中最多只有一个尺度参数。

同样, 类间散布矩阵可以改写成

给定新定义的类内和类间散布矩阵, SILD的投影矩阵可写成

如果所有的类含有相同数目的样本, 可以进一步有

根据上述公式, 很明显, 如果提供类标签信息, SILD的投影矩阵等价于FLDA的投影矩阵, 并且所有的类具有相同数量的样本。如果每个类具有不同数目的样本, 则更侧重于具有更多样本的类, SILD是FLDA的一个变种。通过抑制具有较少样本的不可靠类, 导致了类内散布矩阵更强壮的计算。当类标签信息不可用时, SILD可以视为一个近似的FLDA, 其仅仅利用了一小部分完整类标签信息。

1.4 边界加权SILD

受文献[6]的启发, 如果强调在边界附近的样本, 可以学习到一个更具判别性的模型。然而, 在没有类标签信息的情况下, 文献[6]中的方法不能直接使用。就像在式 (8) 中, 如果一个人的一对样本 (xi, xj) 不同于其他人, 那么, (xi-xj) 会有比较大的值, 且对SWstld有更大的重要性, 否则, 对SWstld不起那么大的作用。所以, 在SWstld定义中, 样本很难进行分类。另一方面, 对于SBstld, 如果来自两个不同的人的一对样本 (xi, xj) 比较相似, (xixj) 就会比较小, 所以, 重写SBstld中的样本对来强调难以分类的样本

当在 (17) 中计算SBstld时, 称这种方法叫做加权的SILD, 即WSILD。

2 实验

2.1 人脸库

FERET人脸库包括ba, bb, bc, bd, be, bf, bg, 共有200个人, 每人7幅人脸图像, 它们是在不同的表情、视角及其光照强度下拍摄的, 如图1所示, 为其中一个人脸的7幅图像, 按照先行后列的顺序, 对应为ba~bg中的一张人脸图像, 选择ba作为训练样本, 包括不同视角、不同表情、不同光照强度的bb至bg作为测试样本。

Yale人脸库包含了15个人的165张人脸, 每人11张, 包括了不同光照条件 (灯光往左照射、往右照射、往中间照射) , 不同的面部表情 (正常的、开心的、沮丧的、睡着的、惊讶的以及眨眼的) , 不同场景的 (戴眼镜的和不戴眼镜的) , 如图2所示为Yale人脸库中一个人的11幅具有不同特征的人脸图像。

实验中取FERET人脸库中每个人的前3张作为训练样本, 剩下的所有的人脸图像作为测试样本, 取Yale人脸库中每个人的前5张作为训练样本, 剩下的作为测试样本, 每张图像都简单地裁剪为80×150像素。为了减少高维和抑制噪声, 采用PCA作为预处理方法, 在PCA之后, 由保持的约95%的能量决定。2个特征向量的相似性由余弦相似度测量。

2.2 实验结果

本文所提出的SILD使用多个著名的特征进行测试, 在默认设置下, SILD只使用了原来的亮度特征。为了进一步提高SILD的精度, 采用了局部二元模式和Gabor小波特征[9]。对于LBP特征, 提取出59个直方图, 每个非重叠块的大小为10×10, 然后所有直方图连接成一个单一的7 080维向量。用5尺度和8取向提取Gabor特征, 这导致了相当高的维。因此采用了10×10的比例因子来降低采样。然而, 如此大规模地降低采样过程之后, 许多结构信息丢失。所以, Gabor图像也分为12个非重叠的块, 作为一种可替代的补充, 在每个块中采用2×2的降低采样获得更低维特征。

在这项工作中, 亮度SILD、LBP-SILD、Gabor-SILD和块Gabor SILD分别意味着SILD结合亮度特征、LBP特征、10×10降低采样的Gabor特征和基于Gabor特征的块。此外, 使用了原始特征的平方根, 最后, 通过使用SVM与RBF内核, 这也称为“结合的SILD”, 结合相似度的所有8种类型特征进一步提高精度, 其中包括4种类型的原始特征和4种平方根特征。

表1、表2分别为不同特征的SILD在FERET及Yale数据库上的平均识别率。

通过表1、表2可以观察到, SILD亮度、LBP、Gabor和块Gabor特征在FERET上的最佳精度分别为53.2%, 51.3%, 51.9%, 54.3%, 在Yale上的最佳精度分别为80.7%, 84.85%, 81.02%, 84.52%。与基于单特征的方法“单LE”相比, 当具有LBP和块Gabor特征时, SILD可以更好地工作, 当具有亮度和Gabor特征时, 几乎可以与之媲美。由此可以看出, 本文提出的SILD可以只使用单一类型的低级别特征, 可以很好地工作。也观察到, 在大多数情况下, 加权的SILD比SILD更好。

2.3 比较与分析

在本节中, 根据图像限制的协议, 本文提出的SILD与最先进的方法在FERET及Yale数据库上进行了比较, 包括基于背景样本的方法 (BBGS) [5], 基于生物启发特征的方法 (HTBIF) [6], 属性及比喻分类 (ASC) [7], 单LE[8], 多LE[8], 余弦相似性度量学习 (CSML) [9], 比较结果如表3所示。

通过表3可以看出, 在FERET数据库上, WSILD的识别率比BBGS高7.5%, 比ASC高8.3%, 比单LE高4.2%, 比多LE高3.5%, 比CSML高1.9%, 比HTBIF高1.6%, 在Yale数据库上, WSILD比BBGS高1%, 比ASC高2.4%, 比单LE高6.5%, 比多LE高3.2%, 比CSML高1.7%, 比HTBIF高0.5%, 由此可见, 与先进方法多种特征的比较, 经过融合多种特征的WSILD取得了很好的识别率。

然而, WSILD利用4种特征, 无须使用复杂的学习和搜索过程, 这表明了WSILD的识别效果明显超越了其他先进的方法, 有效地利用了人脸图像的边信息。

3 结束语

本文基于同类和不同类的样本对, 通过重新定义类内和类间散布矩阵, 提出了人脸识别中基于线性判别分析的边信息, 并且在唯一边信息可用的情况下, 使用了边信息, 在FERET及Yale人脸数据库上的实验表明了本文所提方法的有效性。综合实验结果表明, 当与几种先进方法的结果相比, 通过使用更多种类的特征或学习过程, WSILD取得了更好的识别效果。

摘要：在非限制环境下, 在人脸识别数据库上评估时由于无法获得所有对象完整的类标签信息, 只能得到弱标签信息, 使得许多人脸识别算法将无法工作。为了解决该问题, 提出了一种基于线性判别分析的边信息方法, 即加权SILD (Side-Information based Linear Discriminant) 方法 WSILD, 只利用边信息就可以很好地工作, 其中, 类内和类间散布矩阵直接利用边信息计算出来。在美国国防部人脸识别技术FERET及耶鲁大学人脸数据库Yale上的实验支撑了算法的理论分析。提出的WSILD方法使用多种特征, 与目前的几种方法相比, 取得了更好的人脸识别效果。

关键词：人脸识别,类标签信息,边信息,线性判别分析

参考文献

[1]CONNOLLY J F, GRANGER E, SABOURIN R.An adaptive classification system for video-based face recognition[J].Information Sciences, 2012, 192 (1) :50-70.

[2]LOWE D.Distinctive image features from scale-invariant key points[J].International Journal of Computer Vision, 2004, 60 (2) :91-110.

[3]XIE Z, LIU G, FANG Z.Face recognition based on combination of human perception and local binary pattern[J].Lecture Notes in Computer Science, 2012, 72 (2) :365-373.

[4]LU Jiwen, TAN Yepeng, WANG Gang.Discriminative multi-manifold analysis for face recognition from a single training sample per person[EB/OL].[2013-04-10].http://dl.acm.org/citation.cfm?id=2356324.

[5]CAO Z, YIN Q, TANG X, et al.Face recognition with learning-based descriptor[EB/OL].[2013-04-10].http://wenku.baidu.com/view/34b38adb6f1aff00bed51ea4.html.

[6]PINTO N, COX D.Beyond simple features:a large-scale feature search approach to unconstrained face recognition[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.188.1456.

[7]KUMAR N, BERG A C, BELHUMEU P N, et al.Attribute and simile classifiers for face verification[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.153.2194.

[8]WOLF L, HASSNER T, TAIGMAN Y.Similarity scores based on background samples[EB/OL].[2013-04-10].http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.149.9354.

[9]NGUYEN H V, BAI L.Cosine similarity metric learning for face verification[EB/OL].[2013-04-10].http://link.springer.com/chapter/10.1007%2F978-3-642-19309-5_55.

线性判别回归 篇6

非线性滑动轴承转子系统的稳定性判断一直是学者们的关注热点,而非线性滑动轴承转子系统临界转速决定了转子系统是否稳定,因此对非线性转子系统临界转速的准确判断至关重要[1,2,3]。目前,对非线性滑动轴承转子系统临界转速的判别并没有一个实用的方法和标准,一般多采用对数衰减率法。但对数衰减率法在非线性转子系统中的应用存在诸多不足,如判断失真或无法判断。广义阻尼、稳定欲度、相邻波谷插值对数比等都是对数衰减率概念的变形,在实际应用中并不能完全解决自身不足[4,5,6]。本文为了解决临界转速判断失真现象,首先指出对数衰减率法在非线性轴承转子系统临界转速判别的适用范围,然后提出一种较准确且适用于非线性轴承转子系统的临界转速判别新方法。

1 轴心轨迹的计算

为了求出转子系统的轴心轨迹,首先利用Reynolds方程解出系统的油膜压力。通过有限差分法并用MATLAB编程求解简化的Reynolds方程:

式中,x、z为转子圆周和径向方向的坐标,m;p为油膜压力,Pa;U为轴颈表面速度,m/s;μ为流体动力学黏度,Pa·s;t为时间,s。

求出系统油膜压力后,通过一维辛普森积分法就能得出轴颈上瞬时油膜力Fx、Fy:

式中,Fx、Fy分别为水平和竖向的油膜力,N;θ表示位置角,(°)。

轴心轨迹是旋转机械监测的重要内容,能够反映旋转元件的运行状态等基本信息,对轴承转子系统稳定性的分析至关重要。如图1所示,Oj为转子圆心,为了求出系统轴心轨迹,首先利用式(2)求出的水平和竖向的油膜力Fx、Fy,然后运用牛顿定律计算出轴心水平与竖向的加速度,最终可以求出每个时间点的水平位移与竖向位移,每个时间点的位移轨迹即为轴心轨迹。

转子轴心的水平与竖向加速度采用下式计算:

式中,Fxj、Fyj分别为节点j水平和竖向的油膜力;G为转子重力,N;m为转子质量,kg。

转子轴心水平与竖向的瞬态速度及位移的计算式为

式中,Δt为时间间隔,s;v为转子的线速度,m/s。

滑动轴承转子系统的轴心轨迹在不同的转速下存在稳定、临界和不稳定3种状态,如图2所示,由轴心轨迹可以得出3种状态的时域图。

2 对数衰减法

为了说明对数衰减法判断临界转速时的不足,引入

式中,x1、x2为波峰纵坐标;y1、y2、y3为波谷纵坐标。

对数衰减法是根据转子系统时域图3种不同状态的2个相邻的波峰或波谷的对数比来进行判断的,根据转子系统时域图的3种不同状态,它们之间的对数比会出现3种状态,即Ld>0,Ld=0,Ld<0。Ld=0的点即为临界转速,根据Ld>0,Ld<0两种不同的状态,通过插值法就能求出临界转速。这种插值法并不能很准确地找出Ld=0的点,文献[7]中给出了临界转速判断范围,即认为|Ld|<10-4时已达到临界状态,这种方法计算出的临界转速和理想的临界转速相差并不大,并且相差值对整个转子系统稳定性的影响几乎可以忽略。

实际计算中,轴承转子系统时域图中的偏心率不会随时间平滑变化,当润滑油的黏度发生变化时,转子系统的时域图也会发生变化。因此,当润滑油黏度变化为较大值或较小值,甚至在转子存在一定制造误差时就会出现多个小波峰,如图4所示。对数衰减法是依据波峰来判别临界转速的,波峰发生变化后,对数衰减法就不再适用。文献[6]利用波谷两相邻插值的对数来判断临界转速,这种方法实质上还是对数衰减法,且波谷的变化也并不总是那么有规则,对存在一定制造误差的转子系统也不能完全适用,计算精度也不高,因此,这种方法不能适用于所有的转子系统。

3 求临界转速新方法

由于对数衰减率法在求临界转速时存在诸多限制,所以对数衰减法在非线性轴承转子系统临界转速的判别中存在较多的局限性,为了克服对数衰减法的诸多缺点,提出了一种通过轴心轨迹图形的变化来判断临界转速的方法,并用MATLAB编程实现。如图2所示,转子系统轴心轨迹在不同的转速下存在3种不同的状态,当轴心轨迹的形状和大小重复性很好时,会形成一个长短轴相差不大的椭圆。这时转子系统就达到了临界转速,无论润滑油黏度如何变化、是否存在制造误差。转子系统达到临界转速时,其轴心轨迹都会出现这种重复性很好的椭圆。根据轴心轨迹这一特性,通过判断轴心轨迹的重叠度来判断其临界转速,并用MATLAB编程实现自动搜索。

方法原理:如图5所示,当转速接近临界转速时,轴心轨迹的内圈椭圆和外圈椭圆就会具有一定的宽度(临界宽度b)。转速越接近临界转速,临界宽度b越小。为了测出临界宽度b的大小,通过从圆点O发出一条射线OA。射线OA与轴心轨迹的内圈和外圈相交,取所有大于平均振幅即弧线BC的轨迹,内外两个相交点之差即临界宽度b。虽然轴心轨迹在接近临界状态时的重复性很好,但实际上,轴心每转一周的轨迹是彼此交错的,毫无规律,且轴心轨迹随着参数的变化而变化。因此根据某一点的临界宽度b来判断是否达到临界转速的可信度并不高。为了提高可信度,本文在图5的角度范围(-90°~90°)之间每隔1.1Δt~1.5Δt(计算轴心轨迹时,步长的间距为Δt)扫描一次。临界区域b太小,搜寻的难度增大、搜寻时间长;临界区域b太大,计算的临界转速误差增大,影响转子系统稳定性判断。一般根据实际计算b可以取10μm、11μm、12μm,满足临界宽度b的次数n一般取4、5、6、7。b与n的数值是在已确保本文新的判别方法正确的基础上,经过反复大量的实验、计算、修正,最终确定的,本文给出的值基本能够满足要求,确保不失真。

4 稳定性临界曲线

为了得出对数衰减法的适用范围,并更直观地对比两种方法,引入了反映转子系统稳定性临界转速的量纲一运行参数Op:

式中,g为重力加速度,m/s2;ω为转子角速度,rad/s。

连续改变润滑油的动力学黏度或转子质量后,转子系统临界转速发生相应改变,将不同临界转速对应的点连接起来即为稳定性临界曲线。稳定性临界曲线以量纲一参数Op为纵坐标,以量纲一偏心率e为横坐标。量纲一偏心率求解方法:根据转子系统随润滑油黏度变化而求出的不同的临界转速,再根据系统其他参数不变的条件求出Sommerfeld Num ber,进而求出量纲一偏心率[8]。

如图6所示,本文采用与文献[9]完全相同的参数,计算得出的稳定性临界曲线几乎和文献[9]的曲线重合,表明了本文方法的正确性;与文献[10](参数缺失)的结果对比可知,曲线的变化趋势基本相同,存在小的偏差是因为每个转子系统的参数并不是完全一致的,并受起点位置的影响。与文献[9]、文献[10]方法的对比表明,本文方法得出的稳定性临界曲线理论方法是正确的。

为了对比2种求临界转速的方法,采用相同的结构参数:转子长度L=76.2 mm,轴瓦内径D=76.454 mm,转子直径Dj=75.692 mm,转子质量m=18.5kg。偏心率e在0.2~0.6之间(这个区域相对稳定)时,域图的波形都是较光滑的,说明对数衰减法在这一范围计算较准确。从图6可以看出,偏心率在0.1~0.6之间时,对数衰减法和本文方法得出的稳定性参数Op几乎一致,说明了本文方法的可行性和准确性。Op应随着偏心率的变化而平滑的变化,但从图6、表1可以看出,偏心率e<0.2和e>0.6时,对数衰减法得出的Op有不规则变化。从表1可以看出:e<0.2时,2种方法的偏心率基本一致,Op发生了锯齿形的变化;e>0.6时,对数衰减法的偏心率和Op都发生了不规则变化,润滑油黏度很小时,对数衰减法就无法判断出结果,因此其稳定性临界曲线与本文方法对比时会缺少数据。偏心率e<0.2和e>0.6的区域是不稳定区域,但主要还是因为临界转速的判别失真造成的。同时也表明对数衰减法在这两个区域的不适用性。

5 结语

系统地介绍了对数衰减法的计算原理,指出了对数衰减法在非线性滑动轴承转子系统的不足之处,并用稳定性临界曲线说明了对数衰减法(包含变形的对数衰减法)在量纲一偏心率为0.2~0.6的范围内能够适用于非线性滑动轴承转子系统,计算精度能够满足要求。

提出一种根据判断轴心轨迹临界区域宽度b来判断临界转速的新方法,将对数衰减法和本文提出的图形判别法进行了对比,并用稳定性临界曲线验证了方法的准确性,通过MATLAB编程准确搜寻出临界转速,且本图形判别法不受润滑油黏度、制造误差等因素的影响,方法直观、便捷。

参考文献

[1]崔颖,刘占生,冷淑香,等.200MW汽轮发电机组转子-轴承系统非线性稳定性研究[J].机械工程学报,2005,41(2):170-175.Cui Ying,Liu Zhansheng,Leng Shuxiang,et al.Study on Nonline Stability for a 200 MW Turbogenerator Rotor-bearing System[J].Chinese Journal of Mechanical Engineering,2005,41(2):170-175.

[2]陈衍茂,刘济科.非线性颤振极限环稳定性判别的复数正规形法[J].航空动力学报,2007,22(4):614-618.Chen Yanmao,Liu Jike,Application of Complex Normal from Method for Stability Judgement of Limit Cycle of Nonlinear Flutter[J].Journal of Aerospace Power,2007,22(4):614-618.

[3]夏鹏.圆柱滑动轴承动静态特性分析及计算软件开发[D].哈尔滨:哈尔滨工业大学,2013.

[4]袁小阳.轴系的稳定裕度、非线性振动和动力性能优化研究[D].西安:西安交通大学,1994.

[5]郑惠萍.滑动轴承不平衡转子系统非线性动力学稳定性及其稳定裕度的研究[D].天津:天津大学,2000.

[6]袁雪鹏.考虑随机圆度误差的滑动轴承转子系统非线性动力学研究[D].柳州:广西科技大学,2015.

[7]曾海景,徐武彬,魏塬,等.圆度误差对滑动轴承-转子系统摩擦功率损耗的影响[J].中国机械工程,2012,23(8):906-909.Zeng Haijing,Xu Wubin,Wei Yuan,et al.Friction Power Loss Analysis of Hydrodynamic Bearing Rotor System Allowing for Roundness Errors[J].China Mechanical Engineering,2012,23(8):906-909.

[8]徐武彬,王镇江,陈其兵,等.基于Sommerfeld数的滑动轴承转子系统稳定性分析[J].中国机械工程,2009,20(23):2875-2879.Xu Wubin,Wang Zhenjiang,Chen Qibing,et al.Stability Analysis of Hydrodynamic Journal Bearing Based on Sommerfeld Number[J].China Mechanical Engineering,2009,20(23):2875-2879.

[9]Xu W.The Effect of Manufacturing Tolerances on the Steady State and Dynamic Performance of Rotating Machines Supported by Journal Bearings[D].Staffordshire,UK:Staffordshire University,2010.

[10]Akers A,Michaelson S,Cameron A.Stability Contours for a Whirling Finite Journal Bearing[J].Journal of Tribology,1971,93(1):177-183.

线性判别回归 篇7

关键词：约束线性回归模型,约束最小二乘估计,条件广义岭估计

考虑带齐次线性等式约束的线性回归模型

Y=Xβ+ε,ε～(0,σ2In),Rβ=0 (1)

(1)式中Y为n×1的观测向量,X为n×p的设计矩阵,R为q×p的矩阵,ε为n×1的随机误差向量,In为n阶单位矩阵,$\beta \in B\stackrel{\Delta }{{\displaystyle =}}\left\{\beta :R\beta =0\right\}$为未知回归系数向量,σ2>0为误差方差。秩(X)=p,秩(R)=q。β的约束最小二乘(RLS)估计为

$\beta {}_R{}^{*}=\widehat{\beta }-(X^{\prime }X){}^{-1}{R}^{\prime }(R(X^{\prime }X){}^{-2}{R}^{\prime }){}^{-1}R\widehat{\beta }(2)$

(2)式中$\widehat{\beta }=(X^{\prime }X){}^{-1}{X}^{\prime }Y$,它在约束Rβ=0下是β唯一的BLU估计。文献[1,2]给出了不同的条件岭估计并讨论了其优良性。本文给出了一种新的条件广义岭估计,并讨论了它的优良性。

1 条件广义岭估计

定义1 对于约束线性回归模型式(1),称由下式给出的$\widehat{\beta }{}_R(k)$为β的条件广义岭估计

$\widehat{\beta }{}_R({\rm K})=\widehat{\beta }({\rm K})-S{}_k^{-1}{R}^{\prime }(RS{}_k^{-1}{R}^{\prime }){}^{-1}R\widehat{\beta }({\rm K})(3)$

(3)式中$\widehat{\beta }({\rm K})=(X^{\prime }X+{\rm K}){}^{-1}X{}^{-1}Y‚{\rm K}=\text{d}\text{i}\text{a}\text{g}(k{}_1,k{}_2,\cdots k{}_p)‚S{}_{{\rm K}}=X^{\prime }X+{\rm K}$。显然条件广义岭估计是一个很大的估计类,且$\widehat{\beta }{}_R(0)=\beta {}_R{}^{*}$。

定理1 对于条件广义岭估计,有$\lim {}_{\min }(k{}_i)\to \infty \widehat{\beta }{}_R(k)=0$。

证明 设MK=S${}_k^{-1}$-S-1kR′(RS-1kR′)-1S${}_k^{-1}$,则MK可以写成如下形式

${\rm M}{}_{{\rm K}}=(QS{}_{{\rm K}}Q){}^{+}=V\left(\begin{array}{cc}(\wedge +{\rm K}{}_{p-m}){}^{-1}& 0\\ 0& 0\end{array}\right)V^{\prime }$

,其中Q=Ip-R′(RR′)-1R ,∧是QX′XQ的个非平凡特征根组成的对角矩阵,V是一个正交矩阵。对于(3)式所给出的$\widehat{\beta }{}_R({\rm K})$可以写成$\widehat{\beta }{}_R({\rm K})={\rm M}{}_{{\rm K}}{X}^{\prime }Y$,而对于MK当min(ki)→∞时MK=0,此时有$\widehat{\beta }{}_R({\rm K})=0$即$\lim {}_{\min }(k{}_i)\to \infty \widehat{\beta }{}_R({\rm K})=0$。

2 条件广义岭估计的优良性

将约束线性回归模型式(1)化为其典则形:

Y=Zα+ε,ε～(0,σ2I),Lα=0 (4)

(4)式中Z=XQ,α=Q′β,L=RQ,Q为X′X的标准正交化特征向量组成的正交阵,Z′Z=Q′X′XQ=∧=diag(λ1,λ2,…,λp)称α为条件典则参数, α的岭估计为$\widehat{\alpha }=({{\rm Z}}^{\prime }{\rm Z}){}^{-1}{{\rm Z}}^{\prime }Y=\wedge {}^{-1}{{\rm Z}}^{\prime }Y,\alpha$的条件BLU估计为

α*L=

(Z′Z)-1-(Z′Z)-1L′(L(Z′Z)-1L′)-1L(Z′Z)-1]ZY (5)

由定义1可知, α的条件广义岭估计为

$\widehat{\alpha }{}_L({\rm K})=\widehat{\alpha }-S{}_k^{-1}{L}^{\prime }(LS{}_k^{-1}{L}^{\prime }){}^{-1}L\widehat{\alpha }$,

设 m(K)= MSE(α,αL(K)),则有

$\begin{array}{l}{\rm M}SE(\alpha ‚\alpha {}_L({\rm K}))=\\ \sigma {}^2{\displaystyle \sum \frac{\lambda {}_i}{(\lambda {}_i+k{}_i){}^2}}+k{}_i^2{\displaystyle \sum \frac{\alpha {}_i^2}{(\lambda {}_i+k{}_i){}^2}}(6)\end{array}$

定理2 当$0\le k{}_i\le \frac{\sigma {}^2}{\alpha {}_i}$时,

${\rm M}SE(\widehat{\alpha }{}_L({\rm K})<{\rm M}SE(\alpha {}_L^{*})$。

证明 对m(k)求导得,$\sigma {}^2{\displaystyle \sum _{i=1}^{p-m}\frac{-2\lambda {}_i}{(\lambda {}_i+k{}_i){}^3}}+{\displaystyle \sum _{i=1}^{p-m}\frac{2k{}_i\lambda {}_i\alpha {}_i^2}{(\lambda {}_i+k{}_i){}^3}}={\displaystyle \sum _{i=1}^{p-m}\frac{2\lambda {}_i}{(\lambda {}_i+k{}_i){}^3}}(k{}_i\alpha {}_i^2-\sigma {}^2)$,

所以当$0\le k{}_i\le \frac{\sigma {}^2}{\alpha {}_i}$时$\frac{dm(k)}{k}<0$,而m(k)在ki≥0是连续的,这就说明m(k)在$0\le k{}_i\le \frac{\sigma {}^2}{\alpha {}_i}$内随ki的增大而减小。故当$0\le k{}_i\le \frac{\sigma {}^2}{\alpha {}_i}$时, m(ki)<m(0),而m(0)=MSE(α*L),即可得${\rm M}SE(\widehat{\alpha }{}_L({\rm K})<{\rm M}SE(\alpha {}_L^{*})$。

定理3 当β/[2K${}_{p-m}^{-1}$Q+(QX/XQ)+]+β≤σ2时,有${\rm M}SE{\rm M}(\beta ,\widehat{\beta }{}_R({\rm K}))\le {\rm M}SE{\rm M}(\beta ,\beta {}_R^{*})$。

证明 设$D={\rm M}SE{\rm M}(\beta ,\widehat{\beta }{}_R({\rm K}))-{\rm M}SE{\rm M}(\beta ,\beta {}_R^{*})$,因为${\rm M}SE{\rm M}(\beta ,\widehat{\beta }{}_R({\rm K})=\sigma {}^2{\rm M}{}_{{\rm K}}{X}^{\prime }X{\rm M}{}_{{\rm K}}+{{\rm K}}^{\prime }{\rm K}{\rm M}{}_{{\rm K}}\beta {\beta }^{\prime }{\rm M}{}_{{\rm K}}‚{\rm M}SE{\rm M}(\beta ,\beta {}_R^{*})=\sigma {}^2{\rm M}{}_0{X}^{\prime }X{\rm M}{}_0$。

故D=σ2N-MKKββ′KMK,其中N=M0X′XM0-MKX′XMK,而(QX′XQ)+=(QX′XQ)+Q=Q(QX′XQ)+,M0=(QX′XQ)+,所以有M0X′XM0=M0,MKX′XMK=MK(SK-K)MK=MK-KM${}_{{\rm K}}^2$,于是N= M0 -MK + KM${}_{{\rm K}}^2$,又

${\rm N}=V\left(\begin{array}{cc}\Gamma & 0\\ 0& 0\end{array}\right)V^{\prime }$

,其中Γ=∧-1-(∧+Kp-m)-1+K(∧+Kp-m)-2。Γ的元素ri=(2λiki+k${}_i^2$)/λi(λi+ki)2,当λi>0时,对ki>0有ri>0,故N为非负定矩阵,且秩为p-m,令

$\delta ={\rm K}{\rm M}{}_{{\rm K}}\beta =V\left(\begin{array}{cc}{\rm K}{}_{p-m}(\wedge +{\rm K}{}_{p-m}){}^{-1}& 0\\ 0& 0\end{array}\right)V{}^{/}\beta$

,

有D=σ2N-δδ′,因为N是非负定对称矩阵,且δ⊂u(N),可知,D是非负定矩阵的充要条件为δ′N+δ≤σ2。

$\begin{array}{l}\text{而}{\delta }^{\prime }{\rm N}{}^{+}\delta =\\ {\beta }^{\prime }V\left(\begin{array}{cc}{\rm K}{}_{p-m}{}^2(\wedge +{\rm K}{}_{p-m}){}^{-1}\Gamma {}^{-1}(\wedge +{\rm K}{}_{p-m}){}^{-1}& 0\\ 0& 0\end{array}\right)V^{\prime }\beta ‚\end{array}$

将代入得

K${}_{p-m}^2$(∧+Kp-m)-1Γ-1(∧+Kp-m)-1=(2K2p-m+∧-1)-1,所以

${\delta }^{\prime }{\rm N}{}^{+}\delta ={\beta }^{\prime }\left[V\left(\begin{array}{cc}2{\rm K}{}_{p-m}{}^2+\wedge {}^{-1}& 0\\ 0& 0\\ & \end{array}\right)V^{\prime }\right]{}^{+}\beta ={\beta }^{\prime }[2{\rm K}{}_{p-m}^{-1}Q+(Q{X}^{\prime }XQ){}^{+}]{}^{+}\beta$

,

故β′[2K${}_{p-m}^{-1}$Q+(QX′XQ)+]+β≤σ2成立。

参考文献

[1] Jurgen G B.Restricted ridge estimation.Statistics&Probability Let-ters,2003;65:57—64

[2] Sarkar N.Anewestimator combining the regression and the restrictedleast squares methods of estimation.Comm Statist Theory Methods 21(1992):1987—2000

[3]史建红.约束线性回归模型回归系数的条件岭估计.山西师范大学学报(自然科学版),2001;15:10—16