摘 要：针对稀疏保持投影的稀疏重构过程中监督信息不足的问题，提出一种成对约束指导的稀疏保持投影算法。该算法在训练样本数据的稀疏重构的过程中，通过引入正约束和负约束监督信息指导稀疏重构，使得稀疏保持投影有效地融合了约束监督信息。在UMIST、YALE和AR人脸库人脸数据集上的实验结果表明，与无监督的稀疏保持投影相比，该方法提高了基于最近近邻分类算法的5%～15%识别准确率，有效地提高了降维分类性能。
关键词：降维；稀疏重构；成对约束； 稀疏保持投影
中图分类号： TP391.41
文献标志码：A
Pairwise constraint-guided sparsity preserving projections
QI Ming-ming1，2*
1.School of Yuanpei， Shaoxing University， Shaoxing Zhejiang 312000，China；
2.Department of Computer Science and Technology， Tongji University， Shanghai 201804，China
Abstract：
Concerning the deficiency of supervision information in the process of sparse reconstruction in Sparsity Preserving Projection （SPP）， Pairwise Constraint-guided Sparsity Preserving Projection （PCSPP） was proposed， which introduced supervision information of must-link constraints and cannot-link constraints to guide sparse reconstruction in the process of sparsity reconstruction of training samples， making SPP fuse constraint supervise information efficiently. The experimental results in UMIST，YALE and AR face datasets show， in contrast to unsupervised sparsity preserving projections， our algorithm achieves approximately 5%～15% increase in recognition accuracy based on the nearest neighbor classifier and promotes efficiently the performance of dimensionality reduction classification.
英文关键词 Key words：
dimensionality reduction； sparse reconstruction； pairwise constraint； Sparsity Preserving Projection （SPP）
0 引言
由于良好的分类性能和较强的鲁棒性能，稀疏学习是最近几年机器学习领域的研究热点。当前稀疏学习的研究主要体现在两方面：一是基于稀疏基向量的子空间发现，典型的算法有稀疏主成分析[1]、稀疏非负矩阵分解[2]和非负稀疏主成分析[3]；二是基于稀疏重构权值保持的降维研究。文献[4-5]是此类典型的两个稀疏重构权值保持的降维算法。文献[4]提出稀疏保持投影（Sparsity Preserving Projection，SPP）旨在降维过程中保持样本之间的稀疏重构关系，是全局性的稀疏重构保持降维。文献[5]在近邻保持嵌入的算法的基础上，提出稀疏近邻保持嵌入（Sparse Neighborhood Preserving Embedding，SNPE）。SNPE利用稀疏重构替代近邻的线性重构，达到保持局部的近邻的稀疏重构关系。然而，监督信息的不足导致稀疏保持重构容易受到样本数据的整体结构的影响，为此，人们结合各种监督算法提出了半监督的稀疏保持投影降维算法。文献[6]在SNPE的基础上，引入类内的判别监督信息，提出判别稀疏近邻保持嵌入（Discriminant Sparse Neighborhood Preserving Embedding，DSNPE）。文献[7]在典型相关分析的基础上引入稀疏保持， 提出一种稀疏保持典型相关分析方法，实现了两组特征集鉴别信息的有效融合， 同时对提取特征间的稀疏重构性加以约束， 增强了特征的表示和鉴别能力。文献[8]提出基于局部稀疏重构的特征描述与全局判别分析的半监督降维算法。文献[9]结合稀疏表示和半监督判决分析对人脸表情进行识别。文献[10]提出通过平衡参数融合局部Fisher监督信息和稀疏重构信息的稀疏局部Fisher 判别分析。然而这些算法普遍忽视稀疏重构自身过程中的监督信息的指导作用。
近年来，基于成对约束的监督学习得到了广泛的研究并作为监督信息进行特征选择[11]。成对约束可以分为同类样本之间的正约束和不同类样本之间的负约束。与其他标注信息相比，成对约束信息具有更好的分类性能和简易获取的特性。
受到成对约束的启发，本文提出一种成对约束指导的稀疏保持投影（Pairwise Constraints-guided Sparsity Preserving Projections，PCSPP）算法。该算法在训练样本数据的稀疏重构的过程中，结合成对约束的监督信息，通过正约束和负约束设计惩罚项对稀疏重构权值进行调整。实验证明，与基本的稀疏重构算法相比，经过约束监督信息指导的稀疏保持投影后的数据具有更好的判别分类性能。
