基于中文預訓練BERT模型的意圖識別和語義理解模型分析綜述中文預訓練BERT模型BERT模型是目前NLP任務領域中最常用的預訓練模型之一。該模型通過利用在一個較大規(guī)模的語料庫，該語料庫通常是沒有標注的，訓練得到所需要的模型，然后利用模型獲得輸入文本的語義表示，通過微調(diào)便可以用于特定的自然語言處理任務。在NLP任務中，我們通常會使用詞向量來表征輸入的文本，該向量一般都是一維向量。然后在深度學習的方法中，作為輸入的文本的詞向量通過一系列轉換，便可以獲得該文本的語義表示。為了讓輸出的文本向量更加準確地表示輸入文本地語義信息，在BERT模型中，我們以包含字信息、文本信息和位置信息地向量作為模型地輸入，也即原始文本各個詞對應的向量，然后經(jīng)過模型訓練，輸出融合了全文語義信息的向量。該向量作為輸入文本的語義表示，可用于后續(xù)的分類和標注任務等。該預處理過程如圖3-1所示。圖3-1BERT模型的示例BERT模型是由多層的Transformer模塊組裝而成的。作為BERT模型的核心組件，Transformer通過將注意力機制引入模塊的構建，不僅節(jié)省了資源，還提升了捕獲有效信息的速度。基于Transformers的BERT模型也正因為上述的優(yōu)勢，其性能表現(xiàn)在多個具有挑戰(zhàn)性的NLP任務中都得到了充分的驗證。該全詞覆蓋的中文BERT預訓練模型REF_Ref71108871\r\h[26]的效果如表3-1所示，該模型作用的第一步是對輸入的語料進行分詞，第二步才是對同屬于一個詞中的字進行覆蓋操作。通過訓練，該模型便能實現(xiàn)詞級別的預測。表3-1中文預訓練BERT原始語句：使用語言模型來預測下一個詞的probability。分詞之后的原始語句：使用語言模型來預測下一個詞的probability。BERT的原始輸入：使用語言[MASK]型來[MASK]測下一個詞的pro[MASK]。全詞掩蓋輸入：使用語言[MASK][MASK]來[MASK][MASK]下一個詞的[MASK][MASK]。模型結構本文搭建的BERTNLU模型由BertEmbeddings、BertEncoder、BertPooler以及用于意圖檢測和語義槽識別的兩個分類器組成。該模型的具體組成如表3-2所示：表3-2BERTNLU模型介紹BERTNLU嵌入層：BertEmbeddings字向量：Embedding(21128,768,padding_idx=0)位置向量：Embedding(512,768)文本向量：Embedding(2,768)歸一化層、dropout層Encoder層：BertEncoder-BertLayer(12層疊加)BertAttention由BertSelfAttention和BertSelfOutput組成。前者query_layer，key_layer和value_layer分別是三個線形Linear層，后者為一個線形Linear層+dropout+一個LayerNorm歸一化層。BertIntermediate一個線形Linear層加激活函數(shù)BertOutput線性Linear層+Dropout+LayerNorm歸一化層池化層：BertPooler一個Linear線形層加一個Tanh()的激活函數(shù)，用來池化BertEncoder的輸出Dropout層Dropout(p=0.1,inplace=False)分類器：Intent_classifier一個Linear線性層，輸出為代表158種意圖分類的向量分類器：Slot_classifier一個Linear線性層，輸出為代表158種意圖分類的向量在面向任務的對話系統(tǒng)中，該模塊以一句話語為輸入，輸出對應的語義表示，即一種對話行為。該任務可分為兩個子任務:意圖分類(intentclassification)和語義槽位標記(slottagging)，前者決定話語的意圖類型，后者確定槽位的值。BERT在許多NLP任務中表現(xiàn)出了強大的性能。我們首先利用中文預訓練BERT模型在數(shù)據(jù)集上進行訓練，通過微調(diào)參數(shù)獲得適合本任務的模型。我們從BERT獲得了詞嵌入和句子的表示。由于話語中可能存在多個意圖，我們對傳統(tǒng)方法進行了相應的修改。對于inform意圖和recommend意圖的對話行為(intent=inform,domain=Attraction,slot=fee,value=free),其值出現(xiàn)在句子中，我們使用一個MLP進行序列標記，該MLP將單詞嵌入(free)作為BIO模式(“B-Inform-Attraction-fee”)中的輸入和輸出標記。對于每個沒有實際值的其他對話行為(例如(intent=Request,domain=Attraction,slot=fee))，我們使用另一個MLP對句子表示進行二分類，以預測該句子是否應該被標記為該對話行為。為了整合語境信息，我們使用相同的BERT來得到最后三個話語的嵌入。我們使用[SEP]標記分隔語句，并在開頭插入一個[CLS]標記。然后，將兩個MLP的每個原始輸入與上下文嵌入(嵌入[CLS])連接起來，作為新的輸入。我們也進行了去除上下文信息的消融測試。我們用系統(tǒng)側和用戶側的話語訓練模型。下表為示例。表3-3BIO標簽示例我O想O找O一O個O評O分O4B+Inform+景點+評分分I+Inform+景點+評分以I+Inform+景點+評分上I+Inform+景點+評分可O以O游O玩O時O間O2B+Inform+景點+游玩時間小I+Inform+景點+游玩時間時I+Inform+景點+游玩時間的O景O點O通過意圖識別和命名實體識別我們就可以完成自然語言理解。本文提出了一種BERTNLU-context的模型來做多輪對話下的自然語言理解。BERTNLU就是把BERT作為編碼器對輸入文本進行編碼。然后為了利用上下文信息，BERTNLU-context會把對話歷史的之前三句話用[SEP]分割作為文本輸入另一個BERT模型，取出那個模型的[CLS]位置變量作為上下文表征。然后把該上下文表征和用戶輸入的語句的特征向量連接起來再進行命名實體識別和文本分類，效果很好。模型實驗結果與分析意圖檢測結果(F1得分)如表3-4所示。我們進一步測試了不同場景的性能，如表3-5所示。一般來說，BERTNLU在處理上下文信息方面表現(xiàn)良好。表3-4NLU模塊的性能表現(xiàn)GeneralInformRequestRecommendNoOfferSelectPrecision0.99260.96440.95530.98250.91360.8017Recall0.99630.92970.97640.98570.96520.8444F10.99450.94670.96570.98410.93870.8225表3-5NLU模塊的性能表現(xiàn)單領域獨立多領域不獨立多領域獨立多領域+交通不獨立多領域+交通總體情況Precision0.96180.96350.96000.97020.96080.9626Recall0.97210.95680.94010.95290.94700.9481F10.96690.96010.94990.96150.95380.9553模型在