OpenBMB全称为Open Lab for Big Model Base,旨在打造大规模预训练语言模型库与相关工具, 加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区, 推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。 OpenBMB开源社区由清华大学自然语言处理实验室和面壁智能共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础,近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。
亮点成果
曾最早提出知识指导的预训练模型ERNIE并发表在自然语言处理顶级国际会议ACL 2019上,累计被引超过600次;
团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2、CPM-3,参数量最高达到1980亿,在众多下游任务中取得优异性能;
2022年面向生物医学的预训练模型KV-PLM发表在著名综合类期刊Nature Communications上,并入选该刊亮点推荐文章;
4团队还有丰富的自然语言处理技术的开源经验,发布了OpenKE、OpenNRE、OpenNE等一系列有世界影响力的工具包,在GitHub上累计获得超过5.8万星标,位列全球机构第148位。
2023年1月,OpenBMB与面壁智能联合研发的CPM-Bee多语言百亿大模型登顶ZeroCLUE。
核心优势
前沿模型开源:提供包括Eurux-8x22B在内的顶尖开源模型,在推理性能上超越Llama3-70B等主流模型
技术持续创新:研发的MiniCPM-V 2.0等创新成果在OCR和语义理解领域保持领先
全栈解决方案:覆盖从模型训练到部署应用的全生命周期工具链
活跃开发者生态:汇聚全球200+大模型研究力量,推动技术共享与进步
技术矩阵
BMTrain - 革命性的训练框架,大幅降低大模型训练的计算成本
BMCook - 智能压缩工具,通过量化剪枝使大模型能在普通设备运行
BMInf - 轻量级推理引擎,让消费级GPU也能胜任大模型计算
OpenPrompt - 标准化提示学习框架,快速提升模型在特定任务的性能
OpenDelta - 高效微调系统,仅需调整少量参数即可获得理想效果
ModelCenter - 一站式模型仓库,提供丰富的预训练资源和训练支持
应用场景
使用BMTrain构建定制化的大模型
通过BMCook优化模型以适应边缘设备
借助BMInf在普通PC上实现大模型推理
应用OpenPrompt快速开发智能应用
利用OpenDelta进行低成本模型调优
从ModelCenter获取最适合的预训练模型








