OMetaOMeta×DINOV2大的圖像理解能力Google×USM“基礎模型是一個在廣泛的數據上訓練且可以被應用于廣泛的下游任務×GPT4基礎模型已經在語言、視覺和語音等領域成為現實theopportunitiesandrisksoffoundationmodels,”arX基礎模型的特點?涌現：隨著基礎模型的擴大，它可能會自發地展現新穎的能力。?同質化：模型的多功能性，使其能夠在各種應用中部署。機器翻譯信息抽取機器翻譯基礎模型問答系統文本生成問答系統涌現大語言模型是基礎模型的典型代表。?大模型已經從最初的ELMo等具有數百萬參數的模型開始，發展到像GPT-4這樣具有萬億參數的模型。邏輯、記憶等人工智能的核心基礎能力，為通用人工智能帶來曙光。圖圖（網絡）是用于描述和建模復雜系統的通用語言。社交網絡信息網絡金融網絡互聯網生物醫藥網絡神經元網絡kk中V稱為頂集，E稱為邊集。簡稱圖學習或圖模型中V稱為頂集，E稱為邊集。簡稱圖學習或圖模型。??圖機器學習指將機器學習用于圖數據，?網絡表示：將網絡的每個節點嵌入到低維向量空間。?易于計算并行化?得到表征適用于經典機器學習算法?鏈接預測?社群檢測嵌入圖機器學習的發展與分類淺層模型?基于矩陣分解?基于隨機游走深層模型?基于自動編碼器?基于圖神經網絡當圖模型遇到大模型大模型解決不了圖的問題。.大模型難以建模圖結構語義。.大模型難以處理多樣的圖任務。圖模型不具備大模型的能力。.有限的表達能力。.深層GNN：過平滑、過壓縮問題。.沒有涌現能力、難以支持多任務。圖數據的豐富結構語義和豐富任務深層GNN深層GNN的性能下降Model,GFM）是一個在廣泛的圖數據上預訓練的模型，適用于在不同的下游圖任務。圖基礎模型預期擁有兩個主要特點：涌現和同質化。?涌現：隨著模型增大，自發地展現新穎的能力。?同質化：模型可以適應不同類型的JiaweiLiu,ChengYang,ZhiyuanLu,JunzeChen,YiboLi,MengmeiZhang,TingBai,YuanFang,LichaoSun,PhilipS.Yu,ChuanShi.TowardsGraphFoundationModels:ASurveyandBeyond.arXiv2023圖基礎模型的關鍵技術圖基礎模型的關鍵技術包括：?預訓練技術：神經網絡以一種自監督的方式在大規模圖數據上訓練。?代表性方法：生成式預訓練、對比式預訓練等。?適配技術：用于將預訓練完成的模型適配到特定下游任務或領域來提高性能。?代表性方法：基于Fine-tuning圖基礎模型與語言基礎模型比較相似性：相同的愿景目標和相似的學習范式相關工作沒有關于設計和實現圖基礎模型的明確解決方案，但有相關探索?；趯D神經網絡（GNNs）和大型語言模型（LLMs）的依賴將現有探索分為三類?；贕NN的模型旨在通過對GNN的模型架構、預訓練和適配方面的創新來增強現有的圖學習能力。?改進骨干架構：GraphTransformer。代表性工作：Graph-BERT、GROVER等。?改進預訓練：GraphPretraining。代表性工作：GCC、GraphCL、PT-HGNN等。?改進適配：GraphPrompt。代表性工作：GraphPrompt、AllInOne等?；贚LM的模型以LLM為基礎，將圖轉化為文本（Text）或標記（Token）的方式，探索將LLM用作圖基礎模型的可行性。?Graph-to-Token：把圖轉成標記，再輸入到LLM。?代表性工作：InstructGLM。?Graph-to-Text：把圖轉成文本，再輸入到LLM。?代表性工作：NLGraph、LLM4Mol等?；贕NN+LLM的模型結合GNN和LLM，探索二者之間協同作用的方式，增強圖學習的能力。?以GNN為中心的架構：將LLM的輸出作為GNN的增強特征。?代表性工作：SimTeG、TAPE等。?對稱架構：將GNN和LLM的輸出對齊。?代表性工作：ConGrat、G2P2等。?以LLM為中心的架構：利用GNN提升LLM的表現。?代表性工作：Graph-Toolformer等。MengmeiMengmeiZhangMingweiSunPengWangShenFanYanhuMoXiaoxiaoXuHongLiuChengYang?Pre-trainingonLarge-ScaleHeterogeneousGraph(PT-HGNN,KDD2021)?SpectralGraphNeuralNetworksMeetTransformers(Specformer,ICLR2023)?GraphTranslator:AligningGraphModeltoLargeLanguageModelforOpen-endedTaskstKDD2021DeyuBo,ChuanShi,LeleWang,RenjieLiao.Specformer:SpectralGraphNeuralNetworksmeetTransformers.MotivationofPT-HGNNMotivation?Howtocapturethesemanticandstructuralpropertiesonaheterogeneousgraphduringpre-training?Howtoefficientlypre-trainGNNsonalarge-scaleheterogeneousgraphNetworkschema:meta-levelHeterogeneousgraph(HGorHIN)containdescriptionofanetworkmultipleobjecttypesand/ormultiplelinktypes.Metapath:ArelationsequencesconnectingobjectpairsXunqiangJiang,TianruiJia,YuanFang,ChuanShi,ZheLin,HuiWang.Pre-trainingonLarge-ScaleHeterogeneousGraph.KDD2021.?Preserveheterogeneoussemanticandstructuralpropertiesastransferableknowledge?Sparsifylarge-scaleheterogeneousgraphforefficientpre-training?Designthenode-andschema-levelpre-trainingtasks?Relation-basedSparsificationSchema-levelPre-trainingTask?Modelpairwiserelationsbetweendifferenttypesofnodes?NegativeSamplesSelection?UnlinkednodesthataredifferentenoughEdgeSparsification?Preservemoremeaningfuledges(lowernoiseingraphs)?ImprovethetimeefficiencyonlargegraphMethod:?Relation-basedPersonalizedPageRank(R-PPR)Acceleration:?Random-WalkFormulation(ForwardSearch)?Top-KEntries(Sparsification)ExperimentsSetup?ExperimentDataset：OpenAcademicGraph(OAG),unifiestwoacademicgraphs:MicrosoftAcademicGraph(MAG)andAMiner.?StatisticsofOpenAcademicGraphDataset?Ordinaryexperiment:Nodeclassification?Paper-VenueNodeclassification?Paper-Venueprediction?AuthorNamedisambiguation?TransferExperiment?EfficiencyexperimentNetworkSchemaofOAGExperimentsPerformancesExperimentsTransferexperiment FieldAFieldBPretrainFine-tune?Knowledgetransferringfrompre-trainingtofine-tuningdoesnotguaranteeagaininperformance?PositivecorrelationvaluebetweengraphsresultsinpositivetransferringandviceversaBackgroundofSpecformerBackground?GNNscanbedividedintotwocategories:SpatialandSpectralmethods?SpatialGNNs:Aggregateinformationinthespatial(vertical)domain?SpectralGNNs:Filtersignalsusingeigenvaluesinthespectral(frequency)domainDeyuBo,ChuanShi,LeleWang,RenjieLiao.Specformer:SpectralGraphNeuralNetworksmeetTransformersICLR2023MotivationofSpecformerMotivation?GraphTransformershavebeenusedinthespatialdomain,howaboutspectraldomain??CurrentspectralGNNsonlyuseeigenvaluesinthegraphspectrum,ignoringsetinformationofeigenvalues.However,thesetinformationisalsoimportant.?Canweemploythefull-connectedattentionintransformertocapturethesetinformation?BasicIdeaofSpecformer?LeverageTransformertocapturethedependencyofeigenvalues?Learnpowerfulgraphfiltersforgraphconvolution?Encoder:Eigenvalueencoding+Transformer?Decoder:Channel-wisegraphfilterSpecformerEncoder?EigenvalueEncoding(RelativeInformation)?TransformerEncoder(Permutation-invariant)LN:LayerNormalization,MHA:Multi-headAttention,FFN:Feed-forwardSpecformerDecoder?Channel-wiseDecoder(M-heads)?Learningneweigenvalues?ConstructnewgraphfiltersExperimentsSyntheticData(NodeRegression)ExperimentsRealData(NodeClassification)ExperimentsVisualization?Specformercanlearninterpretablespectrumdependency?SpecformercanlearncomplexgraphfilteringfunctionsMotivationofGraphTranslatorMotivation?LLMshowcasesimpressiveemergentabilitiesforopen-endedtasksbasedoninstructions.?Graphmodels(GMs)achievestate-of-the-artperformanceonawiderangeofpre-definedgraphtask.Canwebuildamodelthatcansolvebothpre-definedandopen-endedtasks?MengmeiZhang,MingweiSun,PengWang,ShenFan,YanhuMoMengmeiZhang,MingweiSun,PengWang,ShenChuanShi.GraphTranslator:AligningGraphModeltoLargeLanguageModelforOpen-endedTasks.GraphTranslatorWeproposeanovelframework