OpenBMB

OpenBMB全称为OpenLabforBigModelBase，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区，推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。发起团队拥有深厚的自然语言处理和预训练模型研究基础，近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。亮点成果如下：1.曾最早提出知识指导的预训练模型ERNIE并发表在自然语言处理顶级国际会议ACL2019上，累计被引超过600次；2.团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2、CPM-3，参数量最高达到1980亿，在众多下游任务中取得优异性能；3.2022年面向生物医学的预训练模型KV-PLM发表在著名综合类期刊NatureCommunications上，并入选该刊亮点推荐文章；4.团队还有丰富的自然语言处理技术的开源经验，发布了OpenKE、OpenNRE、OpenNE等一系列有世界影响力的工具包，在GitHub上累计获得超过5.8万星标，位列全球机构第148位。5.2023年1月，OpenBMB与面壁智能公司联合研发的CPM-Bee多语言百亿大模型登顶ZeroCLUE。