第13章本地部署ChatGLM3-6B模型下載并克隆倉庫一運行ChatGLM3-6B二LangChain與ZhipuAI三通過modelscope社區(qū)下載模型13.1模型下載并克隆倉庫pipinstallmodelscopefrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download("ZhipuAI/chatglm3-6b",revision="v1.0.0")ModelScope社區(qū)是一個在2022年6月由阿里巴巴達摩院和CCF開源發(fā)展委員會共同發(fā)起成立的模型開源社區(qū)及創(chuàng)新平臺。它專注于深度學(xué)習(xí)模型的開放合作，提供一站式的模型服務(wù)，包括模型的管理、下載、調(diào)優(yōu)、訓(xùn)練和部署等功能。13.1模型下載并克隆倉庫首先通過git克隆倉庫gitclone/THUDM/ChatGLM3cdChatGLM3然后通過pip安裝依賴pipinstall-rrequirements.txt通過git克隆倉庫第13章本地部署ChatGLM3-6B模型下載并克隆倉庫一運行ChatGLM3-6B二LangChain與ZhipuAI三13.2運行ChatGLM3-6B運行Demo#首先進入綜合demo的代碼目錄：cdcomposite_demo#接下來使用預(yù)先下載好的模型啟動webdemo，首先在環(huán)境變量中添加模型路徑：exportMODEL_PATH=./.cache/modelscope/hub/ZhipuAI/chatglm3-6b#之后安裝運行demo所需要的依賴，注意安裝在chatglm3環(huán)境中。pipinstall-rrequirements.txtipythonkernelinstall--namechatglm3--user#隨后即可啟動服務(wù)：streamlitrunmain.py13.2運行ChatGLM3-6B運行Demo效果第13章本地部署ChatGLM3-6B模型下載并克隆倉庫一運行ChatGLM3-6B二LangChain與ZhipuAI三13.3LangChain與ZhipuAI安裝LangChainLangChain是一個開源框架，用于簡化大型語言模型（LLMs）的應(yīng)用開發(fā)。它提供模塊化組件和用例鏈，支持將語言模型與外部資源和數(shù)據(jù)源結(jié)合，實現(xiàn)豐富的語言處理任務(wù)。LangChain的上下文感知能力提升了回應(yīng)的準(zhǔn)確性。通過封裝通用行為為API，LangChain降低了開發(fā)門檻，支持多種應(yīng)用場景，并增強了開發(fā)靈活性。Langchain簡化了大語言模型應(yīng)用的每一個階段。Langchain的安裝：pipinstalllangchainpipinstalllangchain_communitypipinstalljupyter1.開發(fā)階段：在這個階段用戶可以使用langchain提供的組件，還有豐富的第三方庫以及模板。2.運行階段：用戶可以使用LangSmith進行查看，監(jiān)視定義的從輸入到輸出的一整個鏈條，這樣的話就可以不斷優(yōu)化使用大語言模型的流程3.部署階段：用戶可以使用langserve將我們定義的大語言模型的流程轉(zhuǎn)化為應(yīng)用接口的方式。13.3LangChain與ZhipuAIZhipuAI的基本調(diào)用fromlangchain_community.chat_models.zhipuaiimportChatZhipuAIfromlangchain.schemaimportHumanMessage,SystemMessagemessages=[SystemMessage(content="你是一個個智能的助手，請幫我回答下面的問題"),HumanMessage(content="手上有了兩個彈珠，彈出去一個還剩幾個？"),]llm=ChatZhipuAI(zhipuai_api_key='…',temperature=0.95,model="glm-3-turbo")llm.invoke(messages)13.3LangChain與ZhipuAI使用Langchain進行鏈?zhǔn)秸{(diào)用大模型fromlangchain_mptsimportChatPromptTemplateprompt=ChatPromptTemplate.from_messages([("system","你現(xiàn)在是一個文檔助手"),("user","{input}")])chain=prompt|llmchain.invoke({"input":"刷牙的流程是什么?"})得到結(jié)果如下：AIMessage(content='刷牙。。。齦健康。',response_metadata={'token_usage':{'completion_tokens':444,'prompt_tokens':1717,'total_tokens':