| huozm32831 |
2023-07-18 15:28 |
清华大学的 NLP 团队与智谱 AI 及清华 KEG 实验室宣布，他们的 ChatGLM-6B 和 ChatGLM2-6B 模型现已完全开放权重，允许学术研究和商业使用。这两个模型在人工智能研究领域具有重要意义。
ChatGLM-6B 模型是基于 General Language Model（GLM）架构的中英双语对话模型，拥有62亿参数。通过模型量化技术，该模型可以在消费级显卡上进行本地部署，最低只需6GB 显存。该模型具备问答和对话功能，初步展现了其在人工智能领域的应用潜力。
ChatGLM2-6B 模型在保留了初代模型的对话流畅和低门槛部署特性的基础上，增加了更多新特性。首先，它采用了 GLM 的混合目标函数，经过了1.4T 中英标识符的预训练和人类偏好对齐训练，性能得到了显著提升。其次，上下文长度从 ChatGLM-6B 的2K 扩展到了32K，可以处理更长的对话内容。第三，推理速度提升了42%，并且在 INT4量化下，6GB 显存可以支持更长的对话长度，从1K 提升到了8K。最重要的是，ChatGLM2-6B 的权重对学术研究是完全开放的，这对于推动人工智能技术的发展具有积极意义。
这两个模型的开放将为学术界和商业领域的研究者提供更多机会，推动人工智能的创新与应用。他们的发布也标志着清华大学在人工智能领域的重要突破，为全球的 AI 研究和应用探索开启了新的篇章。未来，我们可以期待更多基于 ChatGLM-6B 和 ChatGLM2-6B 模型的研究成果和应用场景的出现，推动人工智能技术的发展进程。 |
|