1、北京七月在線科技有限公司QA, 文本摘要代碼閱讀 褚則偉 JULYEDBUSINESS2019CONTENTS010203問答系統(tǒng)文本摘要系統(tǒng)大規(guī)模預(yù)訓(xùn)練語言模型 推薦系統(tǒng)實(shí)戰(zhàn)課程問答系統(tǒng)Supporting text here.When you copy & paste, choose keep text only option.01SQuAD數(shù)據(jù)集4給定一段文字作為context，給定一個(gè)問題question，從context中尋找一段連續(xù)的文字(text span)作為問題的答案。 代碼 SQuAD數(shù)據(jù)集5幾個(gè)sample問題吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)SQuAD模型6

2、吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)文本摘要Supporting text here.When you copy & paste, choose keep text only option.02文本摘要問題8給定一長(zhǎng)段原文(上圖)生成較短的摘要(下圖)該案例來自Get To The Point: Summarization with Pointer-Generator Networks 吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)模型思路9Seq2Seq模型Copy MechanismCoverage Loss代碼： 10吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)大規(guī)模預(yù)訓(xùn)練語

3、言模型Supporting text here.When you copy & paste, choose keep text only option.03ELMo12一個(gè)預(yù)訓(xùn)練兩層雙向LSTM語言模型 吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)13吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)ELMo14吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)AllenNLP15一個(gè)很好的構(gòu)建NLP模型的package，基于PyTorchAllenAI在2018 EMNLP上的一個(gè)tutorial BERT16不是一個(gè)語言模型，目標(biāo)是預(yù)測(cè)masked word吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)BERT17吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)18吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)19吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的IT學(xué)習(xí)分享社區(qū)OpenAI GPT-220吾愛程序猿（ ）打造專業(yè)優(yōu)質(zhì)的