第七章齊普夫定律G.K.Zipf(1902-1950)美國哈夫大學著名語言學家和心理學家。1929年《相對頻率：語音變化的決定性因素》1948年《人類行為與最省力法則-人類生態學引論》1/30/20251教學要求了解詞頻統計的產生和發展了解Booth定律掌握Zipf定律的表述、數學模型及圖像特征熟悉詞頻分布原理熟悉Zipf定律應用中的基本技術和方法1/30/20252主要教學內容§1詞頻統計的產生和發展§2Zipf定律的表示＊＊§3Zipf第二定律§4詞頻分布原理＊§5Zipf定律的應用＊

1/30/20253二、字(詞)典的收錄和選擇中國最早的詞典——《爾雅》(漢代)，按詞的性質和意義排列，詞目91706條、134萬多字。第一部英語詞典是R.考德萊編的《字順英語難詞表》。1928年成書的OxfordEnglishDictionary目前最新版本為20卷本第二版，收詞超過50萬條，引證例句250萬條，幾乎囊括了1150年以來見于文獻的所有語詞。1/30/20255《漢語大詞典》（上海辭書出版社，1986年）共12卷，收詞37萬以上。（一）文獻中對詞的利用《漢語大字典》（四川辭書出版社，1986年）全四卷，收錄單字約56000多個。1/30/20256《毛澤東選集》（四卷合訂本，1967年）總詞量約66萬，收錄2775個漢字。（一）文獻中對詞的利用1/30/20257漢字中，目前人們使用的漢字約有15000個。（一）文獻中對詞的利用1/30/20258國家文字改革委員會（語言文字工作委員會）統計：掌握2851個漢字可以滿足99%的閱讀需要；掌握5018個漢字可以滿足99.9%的閱讀需要。（一）文獻中對詞的利用1/30/202591981年的《通訊用漢字字符集（基本集）及其交換碼標準》（GB2312-80）中確認“漢字基本字符”為6763個。其中，一級漢字3755個，二級漢字3008個。（一）文獻中對詞的利用1/30/202510（二）詞頻統計工具英國語言學家奧格登（CharlesK.Ogden）于1930年編撰了BasicEnglish:AGeneralIntroductionwithRulesandGrammarIfoneweretotakethe25,000wordOxfordPocketEnglishDictionaryandtakeawaytheredundanciesofourrichlanguageandeliminatethewordsthatcanbemadebyputtingtogethersimplerwords,wefindthat90%oftheconceptsinthatdictionarycanbeachievedwith850words.1/30/202511OGDEN'sBASICENGLISHWordListOPERATIONS-100words（100個動作的詞）come,get,give,go,keep,let,make,put,…THINGS-400Generalwords（400個普通名詞）account,act,addition,adjustment,…THINGS-200Picturablewords（200個可畫圖的名詞）angle,ant,apple,arch,arm,army,…QUALITIES-100General（100個普通形容詞）able,acid,angry,automatic,beautiful,black,…QUALITIES-50Opposites（50個有反義詞的形容詞）awake,bad,bent,bitter,blue,certain,cold,…1/30/202512OGDEN'sBASICENGLISH優點：簡化語法、精簡詞匯，受到美國總統羅斯福、英國首相丘吉爾的支持與提倡，在一定范圍內使用，但并未得到推廣。問題：欲簡（用詞簡單）則繁（表達冗長）。Iheard→Itcametomyears

1/30/202513頻率詞典（frequencydictionaries）——按詞出現頻率的高低而編排的詞典。世界上第一部頻率詞典——德國語言學家凱丁(F.W.Keading)《德語頻率詞典》(1898年)，110萬個詞的語言素材。美國教育學家E.L.桑代克(1874～1949)編寫了《教師兩萬詞詞書》(1921)和《教師三萬詞詞書》(1944)。做了大量的英語詞匯的頻率統計工作。（二）詞頻統計工具1/30/202514南京高等師范到南京大學教授，杰出的現代兒童教育家我國近代教育家陳鶴琴(1892～1982)第一部漢語頻率字典《語體文應用字匯》(1928)，從554478個漢字中析出4261個單字。江澤民為陳鶴琴先生雕像墓碑落成題詞：“學習愛國老教育家陳鶴琴先生的獻身精神和創業精神，深化教育改革，為培育四有新人，振興中華的大業而奮斗!”（二）詞頻統計工具1/30/202515北京語言學院語言教學研究所采用人工與計算機相結合的辦法，對近200萬字的漢語語料進行詞頻統計，編制了《現代漢語頻率詞典》，收詞31159條，這是中國正式出版的第一部漢語頻率詞典。（二）詞頻統計工具1/30/2025161/30/202517nr·r=k或nr=kr-1

一、齊普夫的前期研究工作J.Estoup(艾思杜)的研究（1916）

若將文獻（文集）中出現的詞匯（N）按其出現的頻次（n）的高低做遞減排序，并依次給予相應的等級序號（r），（r=1，2，3........，D），則等級序號（r）與相應的頻次（nr）的乘積（nr·r）大體上為一常數（k）。

第二節

齊普夫定律的表示

1/30/202518E.Condon(貢東)的研究（1928）取等級序號的對數（lnr）以及每個詞出現頻次的對數（lnnr）做圖，發現存在線性關系。直線與橫軸的夾角約為π/4，即直線的斜率為-1。其數學關系可表示為：

lnnr=tg(π-π/4)lnr+lnk

一、齊普夫的前期研究工作1/30/202519(一)齊普夫定律的表述設有一包含N個詞(詞匯數)的文獻(N≥5000)，統計其中每個詞出現的頻次(n)，按頻次遞減的順序等級降序排列，并用自然數給予相應的等級序號（r），則每個詞的等級序號（r）與相應的頻次（nr

）之積為一常數。二、G.K.Zipf的驗證與Zipf定律1/30/202520詞頻統計表1/30/202521以RondldE.Wyllys:EmpiricalandTheoreticalBasesofZipf’sLaw（齊普夫定律的經驗根據與理論基礎）前兩段作為詞頻分布的統計對象，該文如下：IntroductionOneof

themostpuzzlingphenomenainbibliometricsand,morebroadly,inquantitativelinguisticsisZipf’slaw.Asonecommentator,thestatisticianGustavHerdan,hasputit:“Mathematiciansbelieveinit(Zipf’slaw)becausetheythinkthatlinguistshaveestablishedittobealinguisticlaw,andlinguistsbelieveinitbecausethey,ontheirpart,thinkthatmathematicianshaveestablishedittobeamathematicallaw.”LetusstartbyconsideringabasicformofZipf’slaw.Supposeonehasanaturallanguagecorpus,e.g.,abookwritteninEnglish.Next,supposeonemakesafrequencycountof

thewordsinthecorpus,i.e.,countsthenumberofoccurrencesofthe,and,of,etc.Finally,supposeonearrangesthewordsindecreasingorderoffrequencysothatthemostfrequentwordhasrank1;thenextmostfrequency,rank2;andsoon.1/30/202522對75個單詞的出現頻次的統計1/30/2025231/30/202524高頻詞低語義詞1/30/202525nrrlnnrlnrnr=k/r如果以等級序號r為橫軸，詞頻nr

為縱軸，其分布圖形為一等軸雙曲線。如果以等級序號r的對數為橫軸，詞頻nr

的對數為縱軸，其分布圖形為一直線。直線的斜率約為-1。齊普夫定律的圖像描述1/30/202526設N’為總詞次數，fr為等級為r的詞出現的頻率，則有如下關系

fr=nr/N’對于fr=cr-1，

(二)參數c值的推論1/30/202527對于上式，當D（最末一級詞的等級序號）比較大時，當取D為一定數值時，計算其對應的c值：

Dc50000.11100000.10500000.091000000.08

可以認為c≈0.1。但后經大量的研究證實，在詞的中頻區，c<0.1（即等級序號為1的出現頻詞最高的詞的詞頻）。1/30/202528(三)對Zipf定律的幾點討論1.高頻詞作用的局限性高頻詞區低頻詞區中頻詞區英語、拉丁語的詞頻分布1/30/2025292.同頻詞的排序1/30/2025301/30/202531在隨機排序中，同頻詞的出現將隨詞頻的降低而增多，產生“階梯”狀圖形。試驗證明：當15<r<1500時，同頻詞不多；當r>1500時，大量的同頻詞出現。因同頻詞存在，低頻詞區呈階梯狀分布。而采用其他排序方法則不存在階梯狀分布。詞頻相同（lnnr）序號遞增（lnr）lnnrlnr1/30/202532第三節齊普夫定律的修正和發展1/30/202533一、齊普夫定律的修正——雙參數模型1936年美國語言學家朱斯（M.Joos）提出的雙參數模型——“通用齊夫定律”（GeneralizedZipf’sLaw）

nr=k/rb或fr=c/rb

式中，b>0,c>0,r=1,2,3.......,D）且滿足

對上式取對數,圖像顯示為一斜率為-b的直線。懷利斯（R.E.Wyllys）對8個不同樣本的研究結果：-0.89<b<-1.04。1/30/202534二、齊普夫定律的修正——三參數模型1952年美籍法國數學家曼代爾布羅特（B.Mandelbrot）提出三參數模型：

式中，0≤a<1,b>0,c>0,r=1,2,3.....,D

且滿足1/30/202535對于齊夫定律的表述,許多工具書大都采用類似觀點和說法。如英國著名的語言學著作《語言與語言詞典》中對詞頻分布定律的釋義是：

“指談話者或寫作者使用的詞的分布和頻次的總描述。f·r=c，方程式中f=頻次，r=序號，即頻率表上的位置；c=常數。方程式表示詞使用的總次數和詞頻表上的位置之間有一個固定比率。”但是齊普夫的表達僅適宜于中頻詞的情況，高頻與低頻詞與該表述偏差較大。于是對詞頻分布規律又有許多補充和深化的研究。1/30/202536三、

齊夫第二定律

（一）A.D.Booth對高序低頻詞的研究——Booth,A.D.:InformationandControl,1967(10):386-393設文獻中同頻詞（出現頻次為n的詞）的個數為In，則In與I1比值的大小僅僅取決于頻次n的高低,，與文獻的長度（總詞次數N’）以及常數值c無關，即：1/30/202537美國西保留地凱西大學（WesternReserveUniversity）文獻交流中心和埃德基（Eldridge）對4篇英語文獻詞頻分布的統計結果。1/30/202538In/I1的理論值與實測值的比較0.040.000.000.0030.0030.0010.0000.0070.0031/30/202539高頻詞（common）與低頻詞（rarewords）出現的“唯一性”將隨著詞的出現的頻次的降低逐漸遭到破壞，即出現同頻詞的可能性逐漸加大，因此，我們可以把同頻詞是否出現作為判定高頻詞和低頻詞界限的“尺度”。（二）低頻詞臨界值的確定1/30/202540即：在按詞頻等級降序排列中，所有出現頻次小于nT的詞均為低頻詞。高夫曼（W.Goffman）給出的nT

轉換值（transitionvalue）公式：（二）低頻詞臨界值的確定1/30/202541即：某一等級序號所對應的低頻詞的數量與其在文獻中出現頻次的平方成反比。（三）低頻詞的數量與其在文獻中出現的頻次之間的關系1/30/202542第四節

詞頻分布原理一、“省力法則”假說

《人類行為與最省力法則——人類生態學引論》(G.K.Zipf.

HumanBehaviourandthePrincipleofLeastEffort:anIntroductiontoHumanEcology.Addison-Wesley,1949)1/30/202543A地HumanBehaviourandthePrincipleofLeastEffortB地1/30/202544雙重力平衡的結果——雙曲線分布在語言交流過程中，“省力法則”同時體現在說話人和聽話人身上。多樣化的力——說話人希望組成語言的詞少，而且一詞多義,節省其精力。單一化的力——聽話人認為最好是一詞一義，使聽到的詞與其確切涵義容易匹配,便于理解。多樣化的力單一化的力1/30/202545thePrincipleofLeastEffort一個詞的長度的演變并非隨機分布，而是與人們對其使用頻次有密切的關系。“寡用冗長”“用盡廢退”事多而寡用之，意多而約出之。1/30/202546

漢語中雙音節詞詞長適度、經濟靈活，成為最合理的構詞方式，促使許多新產生的多音節詞及專有名詞等都回縮到雙音節或三音節的模式中，向雙音節、三音節形式靠攏。婦女聯合會——婦聯郵政編碼——郵編肺原性心臟病——肺心病超級市場——超市勞動改造——勞改外商投資——外資扶助貧困——扶貧電影電視——影視

國內需求——內需農業戶口轉為非農業戶口——農轉非1/30/202547UNESCOUnitedNationsEducational,ScientificandCulturalOrganizationAPEC1.=AsiaPacificEconomicCooperation亞太經濟合作會議2.=AllPurposeElectronicComputer通用電子計算機MEDLINEMEDLARSONLINEMedicalLiteratureAnalysisandRetrievalSystemPETSPublicEnglishTestSystem1/30/202548*ya→

you*whaddaya→

whatdoyou,whatareyou*gonna→

goingto*Whaddaya*wannado?I*wannaeatout.*Whaddaya*gonnado?I’m*gonnaamovie.Whaddaya*gonnasee?I*wannaseeacomedy,butI’m*gonnaseeahorrormovie.*donno→

don’tknow*ta→

to*gotta→

gotto······1/30/202549thePrincipleofLeastEffort對“最小省力原則”應辨證地看：自然語言中詞的“短化”不是絕對的，而是有人的自然的惰性與語言熵相互矛盾作用的結果。“最小省力原則”的實現因人而異。常常是意欲省力，實則不然。語言的使用將遵循“適度省力”的原則，以“可懂度”為前提，否則將影響語言的交流和思想的表達。1/30/202550第四節

詞頻分布原理二、“成功產生成功”假說H.A.西蒙的概率模型：在文獻中，一詞使用的次數越多，則再次使用的可能性越大。該模型最后導出的分布與齊普夫分布相當接近。D.J.deS.普賴斯后來建立了一個相類似的模型，又明確地提出了“成功產生成功”的假說。1/30/202551第五節齊夫定律的應用一、漢語詞頻分布的研究（p.158-163）二、詞表的編制——檢索詞的選擇三、自動標引實踐——有效詞的選擇四、文件檔的組織——數據庫存儲容量的判定五、英語單詞的選擇——對語言學習的指導

1/30/202552自動標引原理：統計標引法、句法分析法、語義分析法統計標引法（statisticalmethodofindexing）的理論根據：各種詞出現在原始文獻中的頻率和其區分文獻內容功能之間存在著某種數量上的關系。H.P.Luhn認為：文獻中每一個詞都有一定的“分辨能”(discriminationpower)，而這種能力與詞出現的頻次有著密切的關系。事實上，只有那些詞頻適中的詞的區分能力較強，它們被稱為“有效詞”（significantwords）。M.L.Pao認為：所謂詞頻適中的詞是由在詞頻有序分布組織中靠近某一區域的若干詞組成的。齊夫定律在主題詞表編制與標引理論和實踐中的應用1/30/202553有效詞的分辨力下限上限有效詞1/30/202554齊普夫定律在信息管理工作中的應用最佳地理位置選擇，使得使用者能以最省力的途徑方便到達。設計圖書館、信息中心資料庫的排架。1/30/202555北京大學

1/30/202556香港中文大學

1/30/202557濱州醫學院圖書館1/30/202558齊普夫定律的應用

——英語單詞的選擇1/30/202559《教師二萬詞詞書》——詞頻法統計詞匯的最重要的一部文獻——美國教育學家桑戴克(EL.Thorndike)：Teacher'sWordBookof20,000Words選擇出常用的詞匯20,000個，依照每個詞在這些文獻中出現出現的頻率分成20級，每級1000個詞，用1，2，3....20來標記。6.25萬字的兒童文學讀物300萬字左右的圣經和英國古典文學作品，30萬字左右的小學課本，5萬字左右的有關烹飪，縫紉，農藝，商業之類的著作9萬字左右的新聞報紙5萬字左右的書信，共41種不同的文獻1/30/202560根據Ogden在1967年版的EncyclopaediaBritanica中對BasicEnglish的定義，對于一個英語國家的成年人，應認識20000個單詞，除語言專家外，普通人遇到的單詞量一般不超過60000個。問題：假定這60000個單詞在文獻中出現的頻次服從Zipf定律，那么一個人如果認識上述20000個常用單詞，即當m=20000時(1/3)，對英文讀物的詞匯覆蓋率有多大？1/30/202561齊夫定律的啟示——英語單詞的選擇由nr=k/r可知，排列在前m個等級詞出現的總頻次為：由調和級數求和公式（歐拉公式）可知：所以近似有：單詞覆蓋率：1/30/202562英語單詞的選擇問題設為覆蓋率，則從理論上講，只要熟練掌握1/3的高頻詞，就可以“讀懂”含有6萬個不同詞（詞組）的文獻內容的90%。“四級”考試：450077.63%“六級”考試：550079.36%PETS5需要>600080.12%TOEFL詞匯>800082.3%1/30/202563第六節

布-齊-洛定律分布一致性

1/30/202564信息計量學的三大基本定律研究和發展的兩個方面:一,對每一定律的內涵及經驗公式的深入研究,從而獲得更一般、更精確的定律表達式二，發現并深入研究三定律之間內在分布的一致性及其理論基礎問題1/30/202565一、三定律的形式及特點（一）布拉德福定律及其特點基本思想：將科學期刊按其刊載某學科論文數量多少，以漸減的次序進行排列，分為三個區，每一區中期刊所載相關論文數量基本相等的條件下，得出各區期刊數量比例為1:a:a2(a為比例系數）基本內容描述：文字表達與圖象表達1/30/202566基本內容蘊涵三個基本特征：1，期刊是按刊載專業論文數量的多少進行等級排列2，期刊分三個區，核心區、相關和外圍區（為了突出核心區而強調相關論文在期刊上的集中與分散）3，設定每一區中的相關論文數量基本相等，目的是通過同一標準來比較各區在期刊數量上呈現出的規律性等級排序是最基本的特征1/30/202567布拉德福定律數學表達式布魯克斯(B.C.Brooks)R(n)=kln(n/s)萊姆庫勒(F.F.Leimkuhler)R(r)=alog(1+br)F(x)=ln(1+bx)/ln(1+b)

相關論文累積數等級排序的期刊級位X為全部期刊中載文率最高的部分期刊的比率X部分期刊中包含的相關論文對全部相關論文的比率1/30/202568（二）齊普夫定律及其特點基本思想：按一特定文本中詞出現的次數（詞頻）的多少，以漸減的次序排列起來，那么，詞的序號r(詞級)與詞頻fr的乘積具有近似恒等的關系fr=c/r

(r=1,2,3….)1/30/202569基本特點（是與其它定律比較的基礎）：1，詞匯是按詞出現的次數（詞頻）大小進行等級排列2，齊普夫定律的圖象表達在利用對數變換處理后得到的是一條斜率為-1的直線1/30/202570推廣齊普夫定律的有：朱斯（M.Joos）Pr=cr-b或Pr=c/rb(詞頻大小由b決定）芒代爾布羅特（B.Mandelbrot）Pr=c/(r+a)b第r級詞之頻率級位r1/30/202571（三）洛特卡定律及其特點基本思想：某一學科領域中，寫若干篇論文的作者在整個學科著者群中占有一個固定的比例公式表達式：f(x)=c/x2反映科學論文在論文作者上集中與分散的分布現象1/30/202572基本特點：一，洛特卡采用頻次排序的方法，即按某類作者出現的頻次大小排位，而非按作者所寫的論文多少來對作者進行等級排位二，論文在作者上的集中與分散程度只限于平方反比關系，即只給出了這種集中與分散程度的單一描述1/30/202573洛特卡定律的推廣鮑（M.L.Pao）f(x)=c/xa不同的a值能夠反映出某學科領域中論文在作者集中與分散的確切程度，a值越大，集中與分散程度越高1/30/202574四、其它的分布形式及特點

特征值主體類別作者（發現人）文獻數期刊布拉德福論文數作者洛特卡詞頻詞匯齊普夫檢出頻率圖書巴克蘭德財富人巴澤爾姓氏人福克斯得分球員戴維斯種屬威利斯1/30/202575二、布-齊-洛分布的一致性描述文獻中情報現象分布的三個定律，它們共同的基本特征有：1，每個定律都是在一個簡單的函數范圍內一個變量與另一個變量相關聯2，三個定律都是采取將觀察值以及所涉及的主體進行特殊排列而得到一相關模型3，三個定律都可以歸結為反映某種主體與其所表現的特征之間的數量對應關系1/30/202576（一）布拉德福分布與齊普夫分布的一致性1、同時具有上述三個共同的基本特征，同時都采用了等級排列技術2、它們的排序對象性質相同，都是對研究主體的排序，布拉德福分布以刊載論文多少對期刊進行排位，齊普夫分布以詞頻高低對詞匯進行排隊1/30/202577但是它們有不同的結論表達形式，原因如下：（一）布拉德福分布對排序好的主體（期刊）位次r進行了取對數轉換處理（二）布拉德福分布對排序好主體的特征值（論文數）取累積和R(r)布拉德福分布反映的是特征值（論文）在主體（期刊）上的累積分布，而齊普夫分布所反映的則是特征值（詞頻）在主體（詞匯）上的密度分布，他們之間的關系實際是一分布的積分表達形式和微分表達形式的轉化1/30/202578數學過程表達R（r）=∫frdr將fr=c/r(r=1,2,3….)代入得R(r)=∫c/rdr=clnr則上式與R（r）=Kln(n/s)具有等價性Fr=R′(r)則有fr=(Klnr)′=K/r其與fr=c/r等價所以布拉德福分布與齊普夫分布具有一致性1/30/202579（二）齊普夫分布與洛特卡分布的

一致性齊普夫分布與洛特卡分布的表達形式不同，原因：1、排序對象性質不同，齊普夫分布以主體（詞匯）為排序對象，而洛特卡分布以特征值（論文數）為排位對象2、排序的方法不同，齊普夫分布以主體（詞匯）的特征值（詞頻）由大至小對主體進行排列，而洛特卡分布則以特征值（論文數）數量由小到大加以排列1/30/202580主題級位r與主體頻率f(x)關系的函數式表達如下：r=∫f(x)dx（r是f(x)的累積形式）將f(x)=c/x2代入得R=∫c/x2dx=c/xX=c/r其與齊普夫分布等價同樣，fr=c/r可轉化為r=c/fr,求其微分得r′=(c/fr)dfr=c/fr2則其與f(x)=c/x2等價所以齊普夫分布與洛特卡分布具有一致性1/30/202581（三）布拉德福分布與洛特卡分布的一致性布拉德福分布與洛特卡分布的一致性不明顯其對研究主體及特征值的處理方法上存在很大差異:布拉德福分布按主體(期刊)的特征值(論文)多少確定主體排列的級位,并對主題的級位作對數變換,對主體相應的特征值做累積和R(n)=kln(k/s)洛特卡分布按主體特征值(論文數)的自然數次序由小到大進行排列,并對主體進行頻次統計得到f(x)=c/x21/30/202582從數學上講：布拉德福分布與齊普夫分布具有一致性齊普夫分布與洛特卡分布具有一致性則布拉德福與洛特卡等價，必定具有一致性（以齊普夫分布為中介）1/30/202583情報學家費爾桑（R.A.Fairthorne）在分析了這一類現象的基本特征后指出信息單元（事項）與其信息源的概率密度服從經驗雙曲分布（empiricalhyperbolicdistribut