1、精選優(yōu)質(zhì)文檔-傾情為你奉上編譯原理 實驗2詞法分析器一、實驗?zāi)康?.通過設(shè)計編制調(diào)試一個具體的詞法分析程序，加深對詞法分析原理的理解。2.掌握在對程序設(shè)計語言源程序進(jìn)行掃描過程中將其分解為各類單詞的詞法分析方法。3.編制一個讀單詞的程序，從輸入的源程序中，識別出各個具有獨(dú)立意義的單詞，即基本保留字、標(biāo)識符、常數(shù)、運(yùn)算符和分隔符五大類。并依次輸出各個單詞的內(nèi)部編碼及單詞符號自身值。（遇到錯誤時可顯示“Error”，然后跳過錯誤部分繼續(xù)顯示）二、詞法分析的基礎(chǔ)知識1.詞法分析器的功能和輸出格式詞法分析器的功能是輸入源程序，輸出單詞符號。詞法分析器的單詞符號常常表示成以下的二元式(單詞種別碼，單詞符

2、號的屬性值)。在本實驗中，采用的是一類符號一種別碼的方式。標(biāo)識符的BNF表示：<標(biāo)識符>-> <字母><字母數(shù)字串><字母數(shù)字串>-><字母><字母數(shù)字串>|<數(shù)字><字母數(shù)字串>|無符號整數(shù)的BNF表示：<無符號整數(shù)>-> <數(shù)字><數(shù)字串><數(shù)字串>-> <數(shù)字><數(shù)字串> |運(yùn)算符的BNF表示：<加法運(yùn)算符>-> +<減法運(yùn)算符>-> -<大于關(guān)系運(yùn)算符&g

3、t;-> ><大于等于關(guān)系運(yùn)算符>-> >=2.超前搜索詞法分析時，常常會用到超前搜索方法。如當(dāng)前待分析字符串為“a > i”，當(dāng)前字符為“>”，此時，分析器到底是將其分析為大于關(guān)系運(yùn)算符還是大于等于關(guān)系運(yùn)算符呢？顯然，只有知道下一個字符是什么才能下結(jié)論。于是分析器讀入下一個字符“+”，這時可知應(yīng)將“>”解釋為大于運(yùn)算符。但此時，超前讀了一個字符“i”，所以要回退一個字符，詞法分析器才能正常運(yùn)行。在分析標(biāo)識符，無符號整數(shù)等時也有類似情況。三、程序要求1.程序輸入示例：如源程序為C語言，輸入如下一段：main()int a, b;a = 10

4、; b = a+20;2.程序輸出示例：（2，“main”）（5，“（”）（5，“）”）（5，“”）（1，“int”）（2，“a”）（5，“,”）（2，“b”）（5，“;”）（2，“a”）（4，“=”）（3，“10”）（5，“;”）（2，“b”）（4，“=”）（2，“a”）（4，“+”）（3，“20”）（5，“;”）（5，“）3.具體要求如下：（1）識別保留字：if、int、for、while、do、return、break、continue等。（2）運(yùn)算符包括：+、-、*、/、=、>、<、>=、<=、!=（3）分隔符包括：,、;、(、)（4）常數(shù)為無符號整形數(shù)；（5）

5、其它的都識別為標(biāo)識符；4.程序思路：（1）定義部分：定義常量、變量、數(shù)據(jù)結(jié)構(gòu)。（2）初始化：從文件將源程序全部輸入到字符緩沖區(qū)中。（3）取單詞前：去掉多余空白。（4）取單詞：讀出單詞的每一個字符，組成單詞，分析類型，其中，關(guān)鍵是如何判斷取單詞結(jié)束，取到的單詞是什么類型的單詞。（5）顯示結(jié)果。四、實驗結(jié)果#include <stdio.h>#include "stdlib.h"#include <string.h>#define N 100/定義要分析的標(biāo)識符或常數(shù)的最大個數(shù)#define M 20/標(biāo)識符的長度char *sourceFile=&qu

6、ot;D:AnalyzeFile.txt"/ 定義進(jìn)行詞法分析的源文件char *key8="if","else","for","while","do","return","break","continue"/ 關(guān)鍵字char *border6=",","","","","(",")"/ 界符定義char *

7、arithmetic4="+","-","*","/"/ 算術(shù)運(yùn)算符定義char *relation6="<","<=","=",">",">=","<>"/ 關(guān)系運(yùn)算符定義char *constsN;/ 常數(shù)定義char *labelN;/ 標(biāo)識符int constnum=0,labelnum=0;/ constnum-常數(shù)個數(shù);labelnum-標(biāo)識符個數(shù)/

8、 判斷一個字符是不是字母int Isletter(char ch)if(ch>='a' && ch<='z'|ch>='A' && ch<='Z')return 1;return 0;/ 判斷一個字符是不是數(shù)字int IsDigit(char ch)if(ch>='0' && ch<='9')return 1;return 0;/ 判斷單詞符號類型int search(char searchchar,int word

9、type)int i=0;switch (wordtype)case 1:for (i=0;i<=7;i+)if(strcmp(keyi,searchchar)=0)/ 返回具體的關(guān)鍵字return(i+1);case 2:for (i=0;i<=5;i+)if(strcmp(borderi,searchchar)=0)/ 返回具體的界符return(i+1); return(0);case 3:for(i=0;i<=3;i+)if(strcmp(arithmetici,searchchar)=0)/ 返回具體的算術(shù)運(yùn)算符return(i+1);return(0);case

10、4:for(i=0;i<=5;i+)if(strcmp(relationi,searchchar)=0)/ 返回具體的關(guān)系運(yùn)算符return(i+1);return(0);case 5:for(i=0;i<constnum;i+)if(strcmp(constsi,searchchar)=0)/ 返回具體的整型常數(shù)return(i+1);constsi=(char *)malloc(sizeof(searchchar);strcpy(constsi,searchchar);constnum+;return(i);case 6:for(i=0;i<labelnum;i+)if(

11、labeli!=NULL)if(strcmp(labeli,searchchar)=0)/ 返回標(biāo)識符return(i+1);labeli-1=(char *)malloc(sizeof(searchchar);strcpy(labeli-1,searchchar);labelnum+;return(i);return -1;/ 常數(shù)處理char digitprocess(char buffer,FILE* fp)int i=-1;char digittpM;int dtype;while (IsDigit(buffer)digittp+i=buffer;buffer=fgetc(fp);di

12、gittpi+1='0'dtype=search(digittp,5);/ 輸出整型常數(shù)printf("%s (5,%d)n",digittp,dtype-1);return(buffer);/ 標(biāo)識符或關(guān)鍵字char alphaprocess(char buffer,FILE* fp)int atype;int i=-1;char alphatpM;while (Isletter(buffer)|(IsDigit(buffer)alphatp+i=buffer;buffer=fgetc(fp);alphatpi+1='0'if (atype

13、=search(alphatp,1)/ 輸出關(guān)鍵字printf("%s (1,%d)n",alphatp,atype-1);elseatype=search(alphatp,6);/ 輸出標(biāo)識符printf("%s (6,%d)n",alphatp,atype-1);return(buffer);/ 其它處理(運(yùn)算符,界符等)char otherprocess(char buffer,FILE* fp)int i=-1;char othertpM;int otype,otypetp;othertp0=buffer;othertp1='0'

14、if(otype=search(othertp,3)printf("%s (3,%d)n",othertp,otype-1);buffer=fgetc(fp);goto out;if(otype=search(othertp,4)buffer=fgetc(fp);othertp1=buffer;othertp2='0'if(otypetp=search(othertp,4)printf("%s (4,%d)n",othertp,otypetp-1);goto out;elseothertp1='0'printf("

15、;%s (4,%d)n",othertp,otype-1);goto out;if(buffer=':')buffer=fgetc(fp);if (buffer='=')printf(":= (2,2)n");buffer=fgetc(fp);goto out;elseif(otype=search(othertp,2)printf("%s (2,%d)n",othertp,otype-1);buffer=fgetc(fp);goto out;if(buffer!='n')&&(b

16、uffer!=' ')printf("%c error,not a wordn",buffer);buffer=fgetc(fp);out: return(buffer);int main(int argc, char* argv)int i;FILE *fp;/ 文件指針,指向要分析的源程序char cbuffer;/ 保存最新讀入的字符for (i=0; i<=N; i+)labeli=NULL;/ 初始化標(biāo)識符constsi=NULL;/ 初始化常數(shù)if(fp=fopen(sourceFile,"rb")=NULL)/ 判斷源文件是否存在printf("文件%s不存在",sourceFile);elsecbuffer = fgetc(fp);