ChatGLM3-6B 本地化部署教程

玄元一墨

ChatGLM3-6B 是基于的语言模型的人工智能助手，拥有强大的语言理解和生成能力。它采用了 GLM3-6B 模型，经过大量互联网语料的预训练，能够针对用户的问题和要求提供精确的答案和支持。

ChatGLM3-6B是由清华大学 KEG 实验室和智谱AI开发的一款基于语言模型的人工智能助手。ChatGLM3-6B采用了大型语言模型 GLM3-6B 作为基础模型，并通过不断学习用户的输入和反馈来不断优化和改进自己的回答能力。
在性能方面，ChatGLM3-6B具有很强的语言理解能力和生成能力，可以根据用户的问题和要求提供精確的答案和支持。此外，ChatGLM3-6B还具有良好的对话式人工智能助理的开发框架，可以轻松地进行自然语言交互和对话。

（此介绍来源于ChatGLM3-6B本体）

前段时间GLM3发布了，我自己也弄了一个玩玩，效果还是相当不错的。
本地部署包来源于B站大佬（十字鱼）
若有侵权，请留言告知删除。

所需材料：

一张 8GB 以上显存的 NVIDIA 显卡（建议）
WIndows 10 22H2 及以上系统（必需）
ChatGLM3-6B 整合包
Python 环境及完整的显卡驱动
手（必需）

本文所使用环境：

NVIDIA GeForce RTX 2080Ti 22GB （魔改版显卡）
Windows 10 22H2（19045）专业工作站版

第一步：下载部署包
作者提供的网盘地址（百度），提取码：glut

https://pan.baidu.com/s/13aKdZQsUp6Si2_To6r-VRQ
https://pan.baidu.com/s/1gaUPNP4xF3vIn8zxgFK4oA

第二步：运行
运行批处理文件“01启动ChatGLM.bat”，将自动寻找合适的硬件运行，小显存显卡量化运行，若没有显卡，则默认使用CPU运行（几分钟一个字，极慢，不推荐）
如果没有报错，等待一段时间后模型就会自动加载完毕，进入上面的地址即可使用 WebUI。

度仙门网 - 论坛版权1、本主题所有言论和图片纯属会员个人意见，与本论坛立场无关
2、本站所有主题由该帖子作者发表，该帖子作者与度仙门网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和度仙门网的同意
4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意
7、度仙门网管理员和版主有权不事先通知发贴者而删除本文

帖子地址：

ChatGLM3-6B 本地化部署教程

评论