ChatGLM-130B是由AI编程助手「CodeGeex」背后的智谱AI团队开发的1300亿参数的开源的、支持中英双语的对话语言模型。
GLM-130B是一个开源开放的双语（中文和英文）双向稠密模型，拥有1300亿参数，模型架构采用通用语言模型（GLM1）。它旨在支持在一台A100（40G*8）或V100（32G*8）服务器上对千亿规模参数的模型进行推理。截至2022年7月3日，GLM-130B已完成4000亿个文本标识符（中文和英文各2000亿）的训练，它有以下独特优势：
- 双语：同时支持中文和英文。
- 高精度（英文）：在LAMBADA上优于GPT-3175B（+4.0%）、OPT-175B（+5.5%）和BLOOM-176B（+13.0%），在MMLU上略优于GPT-3175B（+0.9%）。
- 高精度（中文）：在7个零样本CLUE数据集（+24.26%）和5个零样本FewCLUE数据集（+12.75%）上明显优于ERNIETITAN3.0260B。
- 快速推理：支持用一台A100服务器使用SAT和FasterTransformer进行快速推理（提速最高可达2.5倍）。
- 可复现性：所有结果（超过30个任务）均可通过我们的开源代码和模型参数轻松复现。
- 跨平台：支持在NVIDIA、HygonDCU、Ascend910和Sunway处理器上进行训练与推理。