2000亿参数！“鹏城・脑海”助力国产AI算力平台实现突破
|
9月21日消息，今日上午，鹏城实验室主任、中国工程院院士高文在2023华为全联接大会上宣布了一项重大突破，发布了名为“鹏城・脑海”(PengCheng Mind)的通用AI大模型。这一创新的技术成果标志着中国在人工智能领域的不断发展和领先地位。
根据高文主任的介绍，这个“鹏城・脑海”通用AI大模型拥有2000亿参数，采用了稠密型架构，并借助国产化AI算力平台“鹏城云脑 II”进行全程预训练。值得一提的是，该模型使用了国产深度学习框架MindSpore，同时在大规模并行训练策略、底层算子性能和容错机制方面进行了全面的优化，从而显著提高了国产算力平台的训练效率。此外，模型还构建了一个包含中文、英文以及“一带一路”沿线50多个国家和地区语种的多样化语料数据集和数据质量评估工具集。 据本站了解，这次发布的“鹏城・脑海”基础版以中文为核心，计划在OpenI启智社区向全社会开源，为更广泛的合作和应用提供了可能。
高文主任强调，鹏城实验室正在积极研发“中国算力网”(China Computing Network，C²Net)全国一体化算力协同计算调度平台，该平台以深圳为总调度中心，已经汇聚了全国协同算力资源，规模达到了3E。未来，“鹏城・脑海”大模型将与“中国算力网”协同合作，实现“算力网算力调度 + 模型赋能”的方式，共同推动国产化AI大模型的不断演进和广泛应用，最终打造一个基于“中国算力网”的各领域AI大模型及应用生态的数字化基础。 与此同时，鹏城实验室将主导成立“鹏城・脑海”开源联合体，与企业、高校和科研院所广泛合作，通过全新的开源群智合作模式，提供涵盖压缩、部署、微调和价值对齐等环节的模型工具，并强化大模型的开源管理与资源共享。这一举措将促进科研成果的更广泛传播和应用，加速中国在人工智能领域的发展步伐。 |
