北京智源6月10日发布悟道 3.0 大模型系列

北京智源人工智能研究院在6月10日的“2023 北京智源大会”发布了悟道3.0大模型系列，包括悟道・天鹰（Aquila）语言大模型系列、基于“天秤（FlagEval）”大语言评测体系及开放平台开发的评测体系以及悟道・视界视觉大模型系列。其中悟道・天鹰Aquila语言大模型系列是第一个中英文双语大模型，支持商用并且遵循数据合规要求，在中英语料库的基础上训练得出。该系列模型中的7B、33B和AquilaChat对话模型、AquilaCode文本代码生成模型均获得发布。在技术上，7B、33B以GPT-3、LLaMA等架构设计为基础，采用高效的底层算子实现、中英双语的重新设计的tokenizer以及升级的BMTrain并行训练方法，实现了比Magtron+DeepSpeed ZeRO-2将近8倍的训练效率。同时，AquilaCode-7B 代码模型从Aquila-7B基础模型衍生而来，是一种用小数据集和小规模参数实现高性能，同时支持双语的代码模型。另外，评测体系“天秤”涵盖了30多种能力、5种任务和4大类指标，共计大约600维，支持多种芯片和多种深度学习框架。在视觉大模型方面，悟道・视界多模态大模型Emu、最强十亿级视觉基础模型EVA、性能最强的开源CLIP模型EVA-CLIP、通用视觉模型Painter、视界通用分割模型以及零样本视频编辑方法vid2vid-zero等都在发布会上亮相。