1、Fused Lasso模型的特征選擇摘 要：該文考慮了一類FusedLasso問題的特征選擇方法。與之前的方法不同，該文利用變分不等式為對偶問題提供充要條件，構造了特征選擇方法。通過給出優化問題的對偶問題，進而導出對偶問題變分不等式形式下的必要條件。構造一個包含對偶最優解的對偶可行域，并在這個可行域上估計對偶約束上界，建立篩選規那么，識別出具有相同系數的相鄰特征，進而實現特征剔除。關鍵詞：特征選擇 變分不等式 篩選規那么 對偶問題中圖分類號：O177.5        

2、60;    文獻標識碼：A          文章編號：1672-3791202112b-0032-03Abstract：ThispaperconsidersthefeatureselectionforFusedLass.Unlikethepreviousmethod，thispaperusesvariationalinequalitytoprovidesufficientandnecessaryconditionsforthedualproblem，a

3、ndconstructsthefeatureselection.Bygivingthedualproblemoftheoptimizationproblem，derivethenecessaryconditionsintheformofvariationalinequalityofthedualproblem.Constructadualfeasibleregioncontainingthedualoptimalsolution，andestimatetheupperboundofthedualconstraintonthisfeasibleregion.Establishedascreeni

4、ngrule，toidentifyadjacentfeatureswiththesamecoefficient，andachievefeatureremoval.KeyWords：FeatureSelection;VariationalInequality;ScreeningRules;Dualproblem.傳統的線性回歸，作為一種根本的數據分析技術被廣泛的應用。但對于高維數據的處理上仍面臨著巨大的困難，如何挖掘出有用的信息變得尤為重要，因而促使了新的變量選擇方法的產生。1996年Tibshirani【1】提出了一種基于正那么罰的Lasso模型，模型如下：其中，p表示模型系數。稀疏學習是一門

5、有效分析高維數據的技術，被廣泛地應用到各個領域，并且這類模型的系數只含有少量的非零項。通過懲罰模型系數的絕對值函數，將模型系數進行壓縮，可以把權重很小的特征系數壓縮為零，進而剔除其所對應的特征。很多學者也對Lasso模型進行了改進，2021年針對相鄰特征間有很強相關性的高維數據，Tibshirani和Saunders【2】提出了FusedLasso估計。模型如下：該模型不僅將較小系數壓縮為零，也可以將局部系數差分壓縮為零。不僅實現了系數差分的稀疏性，同時也使得相鄰系數之間更加平滑。關于該模型的一些篩選方法也應運而生3-6。1 篩選規那么的建立該文主要研究的是如下優化問題：2.2可行集

6、建立在給定參數時，初始問題和對偶問題的最優解，可知。不難看出，通過該文構建的篩選規那么知，要想提高計算效率，降低計算難度，需要通過對偶最優解進行篩選。但難點在于，無法通過簡單的運算，求得在下的對偶最優解。由此，該文考慮利用定理1中的變分不等式構建一個緊的對偶可行集。3 結語大數據時代，當采集到的特征維數和樣本數據集很大時，數據挖掘編的尤為重要如何求解這些問題變得尤為重要并且充滿挑戰。但是在眾多數據中，并不是所有的數據特征都是具有代表性的，所以需要剔除一些非積極的特征不具有代表性的，這就是特征選擇，主要是為了提高模型的計算效率。該文提出的特征選擇方法如下。1通過估計特征和在對偶問題最優

7、解集中的上界，來找到相鄰特征中具有相同系數的特征，并將其剔除。2篩選的關鍵是對偶最優解的估計。因此該文利用變分不等式篩選方法構建一個更緊的對偶可行集，來準確地估計出對偶最優解。該篩選方法可以準確的快速識別解中具有相同系數的相鄰特征。參考文獻【1】Rob.Tibshirani.RegressionShrinkageandSelectionViatheLassoJ.JournaloftheRoyalStatisticalSeriesB：Methodological，1996，581：267-288.【2】RobertTibshirani，MichaelA.Saunders，SaharonRosse

8、nt，etal.SparsityandSmoothnessviatheFusedLassoJ.JournaloftheRoyalStatisticalSeriesBStatisticalMethodology， 2021，671：91-108.【3】WANGJie，FANWei，YEJieping.FusedLassoScreeningRulesviatheMonotonicityofSubdifferentialsJ.IEEETransacyionon.PatternAnalysisandMachineIntelligence，2021，379：1806-1820.【4】張環.Fu

9、sed-LASSO懲罰最小一乘回歸的統計分析與優化算法D.北京交通大學，2021.【5】LIUJun，ZHAOZheng，WANGJie，etal.SafeScreeningwithVariationalInequalitiesandItsApplicationtoLassoC/ICML，14：Proceedingsofthe31stInternationalConferenceonInternationalConfereceonMachineLearning，2021：289-297.【6】Nataliya.Sokolovska，Yann.Chevaleyre，Karine.Clement.TheFusedLassoPenaltyforLearningInterpretableMedicalScoringSystemsC/2004InternationalJointConferenceonNeuralNetworksLJCNN.2021.【7】RENShaogang，HUANGShuai，YEJieping，etal.SafeFeatureScreeningforGeneralizedLASSOC/IEEETransactionsonYatternAnalysisandMachineIntelligence.