關于計算機領域論文評價的

一些思考

林闖陳文光清華大學計算機系提綱計算機領域論文評價的復雜性會議論文的重要性論文價值的主客觀度量客觀指標：引用（影響引子），錄用率等主觀指標：會議與期刊列表等一種綜合的評價方法計算機領域論文評價的復雜性計算機領域新興的學科：我國58年建立學科交叉的學科：數學、機電等（數理與工程技術交叉）快速發展的學科：摩爾定律、網絡發展定律基礎技術的學科：對其他學科的支撐論文評價的多樣性與復雜性人造系統有很多新的現象、規律需要抽象和總結，缺乏理論基礎。評價需要理論與工程技術兩方面考量熱點不斷，論文引用率不高。學生和論文數量不斷攀升，國內外期刊和會議龐雜。計算機領域論文評價的復雜性（1）論文評價是一項重要而又困難的工作重要性聲譽與影響學科建設和評估政策和工作導向復雜性計算機領域包含多個學科和研究方向每個學科和方向也有不同的論文評價體系和標準單位發展的平衡評價的主客觀因素很多，尚沒有一致統一的標準是一個不斷思考、不斷認識和不斷完善的過程計算機領域的會議論文的重要性“Thereasonconferencepublicationispreferredtojournalpublication,atleastforexperimentalist,istheshortertimetoprint(7monthsvs1-2years)”Theopportunitytodescribetheworkbeforeone’speersatapublicpresentation,andThemorecompletelevelofreview(4-5vs2-3)”《EvaluatingComputerScientistsandEngineersForPromotionandTenure》，DavidPatterson,LawrenceSnyderandJeffreyUllman，1999，http://論文的意義在于學術和工程價值價值的評判標準客觀工程實踐引用次數（影響因子）,如SCI,citeseer,scholar.google等會議錄用率參加人數，與工業界聯系（較為間接和次要）主觀：“公認”影響力和同行評價ConferenceRankListNUS，GeogeiaTech，Microsoft，IBMJournalRankList香港科大，香港理工大學,…論文引用是學術價值的良好體現SCI的引用因子，是對期刊質量的良好評價引用，特別是他引，表達了論文影響力RankAbbreviatedJournalTitleISSN總引用數文章數

引用因子1INTJCOMPUTVISION0920-56914405896.0852ACMTINFORMSYST1046-81881103175.0593BIOINFORMATICS1367-4803214125534.8944MISQUART0276-77833186414.7315IEEETPATTERNANAL0162-8828147081824.306數據來源：2006JournalCitationReport(JCR),ThomsonISISCI期刊影響因子分布影響因子比重6.0850.27%5.0590.55%4.0811.92%3.2563.84%2.556.03%211.78%1.50921.10%139.18%0.853.70%0.70260.00%0.60169.04%0.576.44%0.484.38%0.389.04%0.295.89%0.10398.36%SCI的缺陷在于不收集會議錄許多優秀的會議是ACM、IEEE、USENIX和IFIP主辦的，不發表在LNCS上。LNCS進去，又被請出來了。因此，探索會議論文的評價標準是非常有意義的工作。如果能夠將會議論文與期刊論文一起評價將更有意義Ci喜te閘se槍er的排古名ht霞tp杯:/礎/混合糊了會陜議與級期刊凡的排與名使得憐會議才與期漸刊可內以進撐行對庫比引用恐率計闖算方感法只計聲算他兔引N是平填均每游年的奧單篇遣文章樸引用盆次數綿，引醒用因李子是ln羞(N喝+1戴)rankconference/journalnameCiteseerimpactSCIimpact1rmatik.uni-trier.de/~ley/db/conf/osdi/index.html3.312USENIXSymposiumonInternetTechnologiesandSystems:3.233rmatik.uni-trier.de/~ley/db/conf/pldi/index.html2.894rmatik.uni-trier.de/~ley/db/conf/sigcomm/index.html2.795rmatik.uni-trier.de/~ley/db/conf/mobicom/index.html2.766rmatik.uni-trier.de/~ley/db/conf/asplos/index.html2.77USENIXAnnualTechnicalConference:2.648rmatik.uni-trier.de/~ley/db/journals/tocs/index.html2.561.4099rmatik.uni-trier.de/~ley/db/conf/siggraph/index.html2.5310rmatik.uni-trier.de/~ley/db/journals/jair/index.html2.451.795Ci身te慚se潛er影響廟因子止分布影響因子比重3.310.08%2.70.49%2.530.73%22.53%1.755.15%1.59.09%1.410.72%1.312.28%1.215.64%1.118.91%123.25%0.927.92%0.831.44%0.737.91%0.643.89%0.550.12%0.456.67%0.364.61%0.274.36%0.185.33%Ci序te央se偶er的缺滾陷目前母的數啞據是20扣03年統紐奉計的新的句會議膊和期檔刊沒線有列星入如EU變RO朋SY附S,禮N小SD廚I等現有歐會議愉和期嚴刊的奮數據慈沒有睛更新程序煙自動轉進行橡統計母，列趙表中凳有些買錯誤WW恐W出現祥了若巡壽干次WW催W8枝,W赤WW怕9,衛WW見W5等等總體千上，Ci召te打se呆er提供醬了一鑄種論聾文影鳥響力漠的客禮觀評耀判方喂法，廚可以艱成為假論文昌評判廚的參椅考依昆據。論文姿錄用揀率論文給錄用罰率是旗衡量工會議稱質量傲的一趨個指塔標，替但不寧是最品重要料的指旬標好的臣會議改有可渾能錄疲用率材較高貞，因園為水謀平一走般的縣論文乞不敢腥投稿一般針的會秩議可嗚能會唱有很厚多水糠平一凝般的默投稿覽從而慎造成沿錄用杜率較否低過低具的錄浮用率仆實際燭損害拉了會肺議接捧收包碌含新厚觀點跟論文洗的能聽力被錄往用的忌論文刑通常姨是工歌作完剛整，障有爭分議的滲論文尿在過成低錄堅用率謹的會遙議上鬼往往游會被勝拒絕20險-3鳥0%的錄差用率腿就比外較合史理，So紛me癥a豆rg壤ue希t爛ha開t注to聰o-抵hi泄gh熄a倉cc境ep睡ta讓nc行e侮ra姓te也s怒(e狗.g侵.,循4鳴0%伏)閑do闊n'鑒t晃ch壁al董le乘ng演e壯th輪e變fi池el估d敗en業ou陶gh緩;的wh兇il離e禁to較o-表lo縫w惠ac借ce適pt揉an救ce遭r列at怕es準(永<串15論%)濃e非no或ur拿ag撥e必to望o送mu鏟ch凝c時on擊se漏rv錯at室iv亞is欺m偶in社p控ro彎gr篇am等c垂om沒mi滑tt里ee私s.批T辨hu屋s,帆a糾s稠a夾fi鬼el毛d詢gr環ow禍s搬so雁me陣f鋤ee的l始th溫e筋pa爬pe凡r座pu模bl筑is繪hi難ng都o洋pp薄or臥tu選ni樓ti咳es武s毫ho練ul叢d播al戶so渠g什ro仗w典to淚k恨ee糞p鴿ac塔ce口pt臂an藍ce士r姑ea跪so歡na奔bl逢e柜(e架.g扶,耕20膛-3正0%葉).ht嘆tp罰:/降/=絕Ta獨lk縱:A評cc姜ep就ti塵ng賤_M錢or辱e_省Pa惠pe圈rs主觀考標準優點被同討行承閃認是襯影響酒力的徑表現可以浙判斷互出不鐮同領棟域的姓引用渣率情孔況可精能不取同缺點某個召領域瓶的研贏究者牌容易頂提出緊自己慶容易下達到悼的標漁準難以蹦在組睜織內雙部驗篇證NU霧S的排方名最著仇名的膚會議五排名ht勸tp室:/喂/僅有所會議過排名艙，不滔包含污期刊分為4級，Ra幟nk漫1,憂R云an布k2捎,尋Ra鋪nk銀3,幅U碌nr推an右ke撕d有一真個Ge憑or傳gi神a鋪Te宅ch的變須種ht夠tp援:/虹/w餅ww緣瑞-s重ta貌ti陡c.個cc殿.g元at漲ec班h.希ed犁u/冠~g壓uo娃fe沿i/伯CS冠_C濫on俯fR撥an師k.負ht糠ms蛾ta斷ti非c.匠cc招.g燈at純ec否h.章ed脊u/好~g何uo聰fe灰i/蔬CS塑_C訂on哈fR茫an睬k.純ht摟m內容昆基本還相同淋，少腔數會索議上妨略有教調整金，如CI亡KM，在NU秒S的列師表中奸是RA苦NK悟1,在Ge話or脊gi劫aT笨ec笑h的列雕表中麻是Ra狼nk內2NU攏S的排氣名AR屑EA猛:心Da叼ta獲ba違se理sSI厭GM族OD匆:楚AC叢M倡SI婦GM皇OD嗎C捐on延f派on堤M諷an李ag雕em和en晉t蟲of尼D附at鹿aPO弓DS柴:夜AC部M各SI斥GM她OD見C牢on搖f堅on蘭P濾ri藏nc漂ip坐le簡s重of扎D攀B疾Sy晶st匯em惡sVL筐DB摟:訊Ve懂ry漂L糠ar撈ge椒D遍at朵a檔Ba茫se睜s庸IC燈DE闖:博In鉗tl眾C握on隨f袍on漸D議at欄a撈En裁gi孤ne顫er縫in肺gCI鈔KM件:職In頂tl階.轎Co雅nf毫o吵n蓮In勵fo紛rm饑at農io擠n鑼an鄙d萬Kn起ow源le纖dg援e舊Ma身na紋ge揪me劃nt（Ci靠te讀se封er惕I輕F:刃0容.7辣3,to庭p副35馬.8召7%）IC喊DT吐:洞In奔tl予C量on帽f忠on怎D燒at撒ab仆as挺e顏Th詢eo疼ryAR毫EA淡:積Ar毒ti皆fi刺ci略al就I鑒nt貞el獅li旁ge郵nc棕e懼an擴d封Re趁la揮te畜d鼻Su心bj歌ec久tsAA喚AI陸:象Am扯er涼ic汪an稅A怠ss般oc性ia許ti半on草f犁or葡A害I多Na戲ti錫on航al鋼C置on膝fe捷re鴨nc榜e裂CV蔑PR晉:補IE丑EE按C千on眨f賠on明C所om勸p喂Vi續si值on愚a很nd謎P賴at妹te爽rn升R凱ec碼og房誠ni融ti脖on文I賣JC盤AI杰:乏In租tl船J竿oi糧nt贊C范on國f淋on樂A雕I靜IC弦CV辛:邊In刻tl扣C億on秧f的on撫C傲om爭pu拋te慘r姥Vi連si跟on另I悠CM題L:壓I田nt馬l茅Co甚nf旦o妥n售Ma塑ch各in卷e鞏Le英ar售ni過ng演K幻玉DD陳:都Kn鐵ow反le象dg斬e權Di桿sc項ov劍er獸y廁an商d胡Da龜ta五M此in隔in就g沫KR趟:讀In頂tl攝C沒on移f纖on鍋P夢ri遍nc保ip徒le秧s亦of逝K獄R奶&撇Re單as痕on腰in頭g凡NI捆PS姜:爬Ne傷ur償al厭I處nf農or睡ma遲ti渾on圣P病ro釘ce謀ss逮in義g嚇Sy拍st濟em頓s川UA寺I:猜C給on遣fe隱re誓nc蘆e按on甩U急nc褲er浮ta婆in其ty疊i怒n炭AI預A監AM澇AS艙:垃In帥tl刊C精on何f易on偉A周ut唇on捎om栽ou寶s珠Ag河en煩ts眠a寒nd例M燈ul僵ti妹-A弄ge扎nt狂S壁ys敘te姐ms疏(柱pa家st部:歉IC嫩AA乳)暑AC涉L:儉A賽nn鬼ua勇l龍Me孔et很in賽g言of旱t關he裳A傭CL瞎(部As妨so憐ci掘at如io動n斗of暫C醉om寄pu貌ta純ti膊on膜al僚L腦in盼gu闖is造ti壤cs立)一種跟綜合悲評價覽方法以引屢用為樹主要京因素柱，主釀觀排斃名為偽輔助覆因素綜合SC牲I引用季因子館，Ci穗te清Se暈er和NU柏S會議葉分級原則不易捐確定驗的向撞下評匹級在SC伍I引用趣因子貓，Ci男te庸Se誕er和NU狗S會議毛分級混中都聚要達唇到標紅準比如CI足KM，在NU辜S排名贈中定猶為1級，壩但在ci股te臂se也er上的誘引用夸因子局僅為0.塔73（to栗p棄35課.8班7%），爺還是棍定為2級較新解的會腥議，敵通過饅附加扎外界深評估啟的方邁法確罰定位搞置FieldConferenceNUSGeorgiaCiteseerAI

AAAI:

American

Association

for

AI

National

Conference111.49

ACL:

Association

of

Computational

Linguistics111.44

KDD:

Knowledge

Discovery

and

Data

Mining111.68Hardware

ASPLOS:

Architectural

Support

for

Prog

Lang

and

OS112.7

HPCA:

IEEE

Symp

on

High-Perf

Comp

Architecture111.79

MICRO:

Intl

Symp

on

Microarchitecture112.31Application

SIGGRAPH:

ACM

SIGGRAPH

Conference112.53

WWW:

World-Wide

Web

Conference112.17

SIGMETRICS:

ACM

Conf

on

Meas.

&

Modelling

of

Comp

Sys111.56system

SIGCOMM:

ACM

Conf

on

Comm

Architectures,

Protocols

&

Apps112.79

INFOCOM:

Annual

Joint

Conf

IEEE

Comp

&

Comm

Soc111.39

PACT:

Intl

Conf

on

Parallel

Arch

and

Compil

Tech111.02programminglanguage

POPL:

ACM-SIGACT

Symp

on

Principles

of

Prog

Langs112.26

CAV:

Computer

Aided

Verification111.88

ICSE:

Intl

Conf

on

Software

Engineering112.05theory

STOC:

ACM

Symp

on

Theory

of

Computing111.69

ISSAC:

Intl.

Symp

on

Symbolic

and

Algebraic

Computation110.66

SPAA:

ACM

Symp

on

Parallel

Algorithms

and

Architectures111.44

SODA:

ACM/SIAM

Symp

on

Discrete

Algorithms111.51DB

SIGMOD:

ACM

SIGMOD

Conf

on

Management

of

Data111.74

ICDT:

Intl

Conf

on

Database

Theory111.41

VLDB:

Very

Large

Data

Bases111.52部分核一級墳會議變的Ci惑te嘆se肺er影響原因子部分芒二級煤會議癥的Ci咳te您se薯er影響役因子FieldConferenceNUSGeorgiaCiteseerAI

CAIP:

Inttl

Conf

on

Comp.

Analysis

of

Images

and

Patterns220.21

IAAI:

Innovative

Applications

in

AI221.87

ICTAI:

IEEE

conference

on

Tools

with

AI220.25HW&Arch

ICS:

Intl

Conf

on

Supercomputing221.36

VLSI:

IEEE

Symp

VLSI

Circuits220.35FPL:Field-ProgrammableLogicandApplications2n/a0.44App

JCDL:

Joint

Conference

on

Digital

Libraries220.31

MASCOTS:

Symp

Model

Analysis

\&

Sim

of

Comp

\&

Telecom

Sys220.43

NOSSDAV:

Network

and

OS

Support

for

Digital

A/V221.85Sys

CC:

Compiler

Construction220.83

ICPP:

Intl

Conf

on

Parallel

Processing220.95

CSFW:IEEE

Computer

Security

Foundations

Workshop221.96ProgLang&SoftEngi

CP:

Intl

Conf

on

Principles

&

Practice

of

Constraint

Prog221.04

SAS:

Static

Analysis

Symposium221.53

PADL:

Practical

Aspects

of

Declarative

Languages220.87Algo&Theory

CONCUR:

International

Conference

on

Concurrency

Theory221.44

ALT:

Algorithmic

Learning

Theory220.63

CADE:

Conf

on

Automated

Deduction221.22DB

SSD:

Intl

Symp

on

Large

Spatial

Databases221.39

CIKM:

Intl.

Conf

on

Information

and

Knowledge

Management120.73

ER

-

Intl

Conf

on

Conceptual

Modeling

(ER)220.56一種桿綜合鎮的會鈔議期瞞刊分關級方裁法論文緣瑞分為3級1級，SC尊I紐奉IF何>爬1AN鋤Dci覺te宴se閘er申I丟F僑>此1.持4AN果DNU盾SR初an欺k環12級，SC湯I弊IF飯>誼0傻.7AN婚Dci見te栗se聽er麥I萄F丸>寫0.惕5AN闊DNU姓SR蹦an眾k23級，老其它鈴（鼓眉勵投慎稿優漢秀論祖文，坦因此形不做歌進一慚步細么分）標準第一級第二級備注SCI1.0(40%)0.7(60%)2006年數據Citeseer1.4(10%)0.5(50%)NUSRank1Rank2新方椅案一鄭級期霸刊的Ci越te劇se懇er和SC顏I影響嚴因子JournalNameCiteSeerSCIJArtificialIntellRese2.45