1、乎所冇的中文系統和國際化的軟件都支持的中文字符集，這也是垠棊木的中文字符集。 h編碼范圍是高位oxaloxfe,低位也是oxal-oxfe；漢字從oxboal開始，結朿于0xf7fe。gb2312將代碼表分為94個區，對應笫一字節(oxal-oxfe)；每個區94個位(oxal-oxfe), 對應第二字節，兩個字節的值分別為區號值和位號值加32(2oh),因此也稱為區位碼。()1()9 區為符號、數字區，1687區為漢字區(0xb0-0xf7), 1()15區、88-94 |x是有待進一步標準 化的空口區。gb2312將收錄的漢字分成兩級：第一級是常用漢字計3755個，宜于16-55 區，按漢

2、語拼音字母/筆形順序排列；第二級漢字是次常用漢字計3008個，置于56-87區， 按部首/筆畫順序排列。故而gb2312®多能表示6763個漢字。gb2312的編碼范圍為2121h-777eh,與ascii有重疊，通行方法是將gb碼兩個字節 的最高位置1以示區別。0x00k?節0x7eoxfe0x7easc【區 (ox2lox21)0xa!圖1:gb2312編碼圖圖屮位于ascii區屮的虛線區域即為原gb2312編碼區域,右下角實線區域為平移后的 gb2312編碼區域。二、gb2312-80 的擴展gbk是gb2312-80的擴展，是向上兼容的。它包含了 20902個漢字，其編碼范圍

3、是 0x8140-0xfcfc,剔除高位0x80的字位。其所冇字符都可以一對一映射到unicodc2.0ogb18030-2000(gbk2k)在gbk的基礎上進一步擴展了漢字，增加了藏、蒙等少數民族的 字形。gbk2k從根本上解決了字位不夠，字形不足的問題。它有兒個特點： 它并沒有確定所有的字形，只是規定了編碼范圍，留待以后擴充。 編碼是變長的，其二字節部分與gbk兼容；四字節部分是擴充的字形、字位，其編 碼范圍是首字節0x81-0xfe、二字節0x30-0x39、三字節0x81-0xfe、四字節 0x30-0x39。 它的推廣是分階段的，首先要求實現的是能夠完全映射到unicodes 0標

4、準的所有 字形。 它是國家標準，是強制性的。 現在還沒有任何一個操作系統或軟件實現了 gbk2k的支持，這是現階段和將來漢化 的工作內容。三、unicode編碼國際標準組織于1984年4刀成立iso/iecjtc1/sc2/wg2工作組，針對各國文字、符 號進行統一性編碼。1991年美國跨國公司成立unicodeconsortium,并于1991年10月與 wg2達成協議，采用同一編碼字集。目前unicode是采用16位編碼體系，其字符集內容與 iso 10646 的 bmp (basicmultilingualplanc)相同。unicode 于 1992 年 6 月通過 dis (draf

5、lnternationalstandard),目前版木v2.0于1996公布，內容包含符號6811個，漢字20902 個，韓文拼音11172個，造字區6400個，保留20249個，共計65534個。隨著國際互聯網的迅速發展，耍求進行數據交換的需求越來越大，不同的編碼體系越來 越成為信息交換的障礙，而且多種語言共存的文檔不斷增多，單靠代碼頁已很難解決這些問 題，于是unicode應運而生。unicode有雙重含義，首先unicode是對國際標準iso/iec10646編碼的一種稱謂 (iso/iec10646是一個國際標準，亦稱大字符集，它是iso于1993年頒布的一項重要國際 標準，其宗旨是全

6、球所有文種統一編碼)，另外它又是由美國的hp、microsoft、ibm、apple 等人企業組成的聯盟集團的名稱，成立該集團的宗旨就是要推進多文種的統一編碼。unicode同現在流行的代碼頁最顯著不同點在于：unicode是兩字節的全編碼，對 于ascii字符它也使用兩字節表示。代碼頁是通過高字節的取值范圍來確定是ascii字符, 還是漢字的高字節。如果發生數據損壞，某處內容破壞，則會引起其后漢字的混亂o unicode 則一律使用兩個字節表示一個字符，最明顯的好處是它簡化了漢字的處理過程。unicode使用平而來描述編碼空間，每個平而分為256行，256列，相對于兩字節編 碼的高低兩個字節

7、。unicode的第一個平面，稱為basicmultilingualplane (基本多文種平面)，簡稱bmp, 由于bmp僅用兩個字節表示，所以倍受青睞。00a-zone3334cjk extoisioq a4d4db5 f4e.jk.a0abcjk9fas-hylmc6 _mac皿08ofhvvi.dza1一二fcl s-zokebrutf-lfihxxxmoo celsf8om oommommbom mb ob ob mm mb mw mm mm mm om om mm mm mm mb ob ob ob mm mb mb mm ff r-zobe圖三：ucs的基本多文種平面陽icmul

8、tilmgurfsm) bmp chart0033344d4e:a-zone拼音文字see detailed chartcjk unified ideographs extension a （新）中日韓統一漢字擴充集acjk unified ideographs9faoa5abacd£dfeof8f9fafbfcfdfeff中日韓統一漢字yi syuables （a000-a48f） & yi radicals （a490-a4bf）彝文音節字和字根（新）o-zonehangul extended 韓文（新）s-zone （for use in utf-16 only） （新

9、）private use areacjk compatibility ideographs alphabetic presentationformsarabic presentation forms-acomb. halfmykscjkcompat.f,mssmall form vars.arabic presentation forms-bhalfwidth and fullwidth formsspecial=not graphic characters=reserved far future standardization=hangul extended| =utf-16圖2:bmp的最

10、新概貌圖其中a_zone為拼音文字編碼區，拉丁文、阿拉伯文、日文的平假名及片假名等都在 此區編碼。cjkextensiona和cjk為漢字區域共計27487個漢字。y1即彝文，位于o-zone 保留待將來使用。hangul即韓文。eudc為用戶私有區，卅戶可以根據需要白己定義此區 的編碼。r-zone為限制使用區，-些兼容字符、特姝字符均放在此區。unicode 定義 bmp 中的 d8oo-dfff 為代理區(surrogatczonc)，其中 d8oo-d8ff 為 高半代理(highsuirogate), dcoo-dfff為低半代理(lowsurrogate) 0從兩個區域分別取一 個

11、編碼，組成一個4字節的代理對來表示一個編碼字符，此即為utf-16o利用utf16機 制,unicode擴充了 1024*1024個字符，相應于oo-of平面，并且將02平面分配給了cjkextensionbo microsoft 在 windows2000 已實現 了 utf-16。unicode編碼布局0000.007f;basiclatin()()8().(x)ff;latin-lsupplement0100.017f;latinextcndcd-a0180. .024f;latinextended-b0250.02af;ipaextensions02b0.02ff;spacingmod

12、ifierletters0300.036f;combiningdiacriticalmarks0370.03ff;grcckandcoptic0400.04ff;cyrillico5oo.o52f;cyrillicsupplementary0530.058f;armenian0590.05ff;hebrew0600.06ff; arabic0700.074f;syriac0780.07bf;thaana0900.097f;devanagario98o.o9ff;bengali0a00.0a7f;gurmukhi0a80.0aff;gujaratioboo.ob7f;oriya0b80.0bff

13、;tamil0c()0.0c7f;telugu0c80.0cff;kannada0d00.0d7f;malayalam0d80.0dff;sinhala0e00.0e7f;thai0e80.0eff;lao0f00. .0fff;tibcta n1000. 109f;myanmar10a0. 10ff;geogia n1100. 11ff;hanguljamo1200. 137f;ethiopic13a0.3ff;chcrokcc1400. 167f;u nifiedcanadianaboriginalsyllabics1680. 169f;ogham16a0.16ff runic1700.

14、171f;tagalog1720. 173f;hanunoo1740. 175f;buhid1760. 177f;tagbanwa1780. 17ff;khmer1800. 18af;mongolia n1 e00.1 eff;latinextendedadditional1 f00.1 fff;greekex tended2000. 206f;generalpunctuation2070. 209f;superscriptsandsubscripts20a0.20cf;currencysymbols20d0.20ff;combiningdiacriticalmarksforsymbols21

15、00. 214f;letterlikesymbols2150. 218f;numberforms2190. 2 iff; arrows2200. 22ff;mathcmaticalopcrators2300. 23ff;miscellaneoustechnical2400. 243f;controlpictures2440. 245f;opticalcharacterrecognition2460. 24ff;enclosedalphanumerics2500. 257f;boxdrawing2580. 259f;blockelements25a0.25ff;geometricshapes26

16、00. 26ff;miscellaneoussymbols2700. 27bf;dingbats27c0.27ef;misccllancousmathcitiaticalsymbols-a27f0.27ff;supplemental arrows-a2800. 28ff;braillepatterns2900. 297f;supplementalarrows-b2980. 29ff;miscellaneousmathematicalsymbols-b2a00.2aff;supplcmcntalmathcmaticalopcrators2e80.2eff;cjkradicalssupplemen

17、t2f00.2fdf;kangxiradicals2ff0.2fff;ideographicdescriptioncharacters3000. 303f;cjksymbolsandpunctuation3040. 309f;hiragana3oao.3off;katakana3100. 312f;bopomofo3130. 318f;hangulcompatibilityjamo3190. 319f;kanbun31 ao.31 bf;bopomofoextcndcd31fo.31 ff; katakanaphoneticex tensions3200. 32ff;enclosedcjkle

18、ttersandmonths3300. 33ff;cjkcompatibility3400. 4dbf;cjkunifiedideographsextensiona4e00.9fff;cjkunifiedideographsa000.a48f;yisyllablcsa490.a4cf;yiradicalsac00.d7af;hangulsyllablesd800.db7f;highsurrogatesdb80.dbff;highprivateusesurrogatesdcoo.dfff;lowsurrogatese000.f8ff;privateuseareaf9()0.faff;cjkcom

19、patibilityideographsfb00.fb4f;alphabeticpresentationformsfb50.fdff;arabicpresentationforms-afeoo.feof; variationselectorsfe20.fe2f;combininghalfmarksfe30.fe4f;cjkcompatibilityformsfe50.fe6f;smallform variantsfe70.feff;arabicpresentationforms-bffoo.ffef;halfwidthandfullwidthformsfffo.ffff;specials103

20、00. .1032f;olditalic10330.034f;gothic10400. 1044f ;deseret1 d000.1 doff;byzantinemusicalsymbols1d100.1d1 ff;musicalsymbols1d400. 1 d7ff;mathematicalalphanumericsymbols20000. 2a6df;cjkunificdidcographsextcnsionb2f800.2fa 1 f;cjkcompatibilityideographssupplemente0000.e007f;tagsf0000.fffff;supplementar

21、yprivateusearea-a1 ()()()()(). 10ffff;supplementaryprivateusearea-b0000.007f;basiclatin0080.00ff;latin-1 supplement0100.017f;latinextended-a0180.024f;latinextended-b0250. .02af;ipaextensions02b0.02ff;spacingmodificrlcttcrs0300.036f;combiningdiacriticalmarks0370.03ff;greekandcoptic0400.04ff;cyrillic0

22、50().052f;cyrillicsupplementary0530.058f;armenian0590.05ff;hebrew0600. .06ff; arabic0700.074f;syriac0780.07bf;thaana0900. .097f;devanagari0980.09ff;bcngali0a00.0a7f;gurmukhi0a80.0aff;gujaratioboo.ob7f;oriya0b80.0bff;tamil0c00.0c7f;telugu0c80.0cff;kannada0d00.0d7f;malayalam0d80.0dff;sinhala0e00.0e7f;

23、thai0e80.0eff;laoofoo.offf;tibetan1 ()()(). 109f;myanmar1oao.off;gcorgian1100. 1 lff;hanguljamo1200. 137f;ethiopic13a0.13ff;cherokee1400. 167f;unifiedcanadianaboriginalsyllabics1680. 169f;ogham16a0.16ff;runic1700. 171f;tagalog1720. 173f;hanunoo1740. 175f;buhid1760. 177f;tagbanwa1780. 17ff;khmer1800.

24、 18af;mongolian1 e00.1 eff;latinextendedadditional1 f00.1 fff;greekextended2000. 206f;gcncralpunctuation2070. 209f;superscriptsandsubscripts20a0.20cf;currencysymbols20d0.20ff;combiningdiacriticalmarksforsymbols2100. 214f;letterlikesymbols2150. .218f;numbcrforms2190. 2 iff; arrows2200. 22ff;mathemati

25、caloperators2300. 23ff;miscellaneoustechnical2400. 243f;controlpictures2440. 245f;opticalcharactcrrccognition2460. .24ff;enclosed alphanumerics2500. 257f;boxdrawing2580. 259f;blockelements25a0.25ff;geometricshapes2600. .26ff;miscellaneoussymbols2700. 27bf;dingbats27c0.27ef;miscellaneousmathematicals

26、ymbols-a27f0.27ff;supplementalarrows-a2800. 28ff;braillepattems2900. 297f;supplementalarrows-b2980. 29ff;miscellaneousmathematicalsymbols-b2a00.2aff;supplementalmathematicaloperators2e80.2eff;cjkradicalssupplement2f00.2fdf;kangxiradicals2ff0.2fff;ideographicdescriptioncharacters3000. 303f;cjksymbols

27、andpunctuation3040. 309f;hiragana3() ao. 30ff; katakana3100. 312f;bopomofo3130. 318f;hangulcompatibilityjamo3190. 319f;kanbun31 ao.31 bf;bopomofoextended31 f0.31 ff;katakanaphoneticextensions3200. 32ff;enclosedcjklettersandmonths3300. 33ff;cjkcompatibility3400. 4dbf;cjkunifiedideographsextensiona4e0

28、0.9fff;cjkunifiedideographsa000.a48f;yisy hablesa490.a4cf;yiradicalsac00.d7af;hangulsyllablesd800.db7f;highsurrogatesdb80.dbff;highprivateusesurrogates dc()().dfff;lowsurrosateseooo. f8 ff;pri vatcu scarcaf900.faff;cjkcompatibilityideographsfb00.fb4f;alphabeticpresentationformsfb50.fdff;arabicpresen

29、tationforms-afe()().fe()f;variationselectorsfe20.fe2f;combininghalfmarksfe30.fe4f;cj kcompatibilityformsfe50.fe6f;smallformvariantsfe70.feff;arabicpresentationforms-bff()().ffef;halfwidthandfullwidthformsfffo.ffff;spccials10300. 1032f;01ditalic10330. 1034f;gothic10400. 1044f;deseretld000.1d0ff;byzan

30、tinemusicalsymbols1d100. 1d1 ff;musicalsymbols1 d400.1 d7ff;mathcmaticalalphanumcricsynibois20000. 2a6df;cjkunifiedideographsextensionb2f800.2fa 1 f;cjkcompatibilityideographssupplemente0000.e007f;tagsfoooo.fffff;supplementaryprivateusearea-a0. 1 offff;supplementarypi*ivateusearea-b四、大五碼(big5)如不去考慮特

31、殊符號，及后來的七個擴充字，tw-b1g5的排序方式如下。將所冇的字 分成兩人群：常川字區與次常川字區，每一個字區分別川筆畫來排序，同一個筆畫的字，依 部首來排。tw-big5每個字由兩個字節組成，其第一字節編碼范圍為oxal0xf9,第二字 節編碼范圍為0x400x7e與oxaloxfe，總計收入13868個字（包括5401個常用字、7652 個次常用字、7個擴充字、以及808個各式符號），其中可以大致劃分為以下幾個字區：1第一字節|第二字節字區制定|a1.a240.7e, a1.fe各種符號區|1984a34o.7e,a1.bf各種符號區（包括標點符號、ascii全角符號、注音符 號等）|

32、1984a3el歐元符號|cp950a4.c54o.7e,a1.fe常用字區1984c640.7e常用字區 |1984c6a1.fe罕用符號區|倚天c7|40.7e, a1.fe罕用符號區（包括日文、俄文等） 倚天c840.7e, a1.d3罕用符號區（包括俄文、輸入法特殊符號等）|倚天c9.f840.7e, a1.fe次常用字區1984f940.7e, a1.d5次常用字區|1984f9d6.dc七個擴充字|倚天f9dd.fe表格符號區table 1. big5字區與編碼范圍擴充字big5 碼unicode 碼big5_1984的同義字碁j0xf9d6ox88cf棋銹joxf9d70x92b

33、9銹里oxf9d80x7ca7里墻0xf9d9ox58bb墻恒0xf9da0x6052恒妝0xf9db0x7881妝嫻0xf9dc0x5afa嫻table 2.七個擴充字編碼第一個字節第一個字節第二個字節第四個字節gb2312oxbo - 0xf7oxao - oxfe編碼第一個字節第一個字節第二個字節第四個字節gbk0x81 oxfe0x40 oxfegb 18030的雙字節0x81 ()xfe0x40 - ()x7e 0x80 oxfegb18030的四字節0x81 oxfe0x30 - 0x390x81 oxfe0x30 - 0x39table 3. gb的漢字編碼規則五、如何判斷一個漢字是big5或是gb大陸電腦中的漢字多以gb2312標準進行編碼，簡稱gb碼或國標碼，共定義6763漢 字,編碼如下:第一字節，行碼0xa1-0xfe,第二節字，列碼0xa1-0xfe,每行94個漢字。其屮， 1-15w1-af)全角字母、符號；1655行(bocf)以拼音為序的一級漢字3755字；56-87 行(d0-f7)以部首為序的二級漢字3008字。例如：gb碼16行1列表示“啊”字，編碼為 0xb0a1 o港臺電腦中的漢字則多以big5編碼 共定義了 13053漢字，漢字部分均以部首為序, 編碼如下：第一節字，行