DeepMind联合创始人透露:GPT-5秘密训练中,规模或大过GPT-4百倍
9月3日消息,近日,有关人士透露,DeepMind的联合创始人Suleyman在接受采访时表示,目前正在秘密训练GPT-5,预计该模型的规模将比目前的GPT-4大100倍。 据了解,尽管之前OpenAI的CEO Sam Altman否认了GPT-5的训练计划,但有消息人士指出,OpenAI可能已经为该模型起了一个新的名称,这也解释了他们此前的否认。 Suleyman目前担任Inflection AI的CEO,该公司正在致力于建造世界上最大的超级计算机之一。他表示,在未来的18个月内,他们有可能会进行一次比制造GPT-4时规模大10倍甚至100倍的语言模型训练运行。 今年3月份,GPT-4正式发布,其相比最初的GPT-3.5模型,在几个方面取得了重大进展。该模型不仅在识图能力方面取得了强大的突破,还将文字输入限制提升至2.5万字,回答准确性也得到显著提升。此外,GPT-4还能够生成歌词、创意文本,并实现多样的风格变化。
根据分析,GPT-4拥有约1.8万亿的参数,相当于GPT-3.5的10倍规模,其中包括16个专家模型,每个MLP专家模型拥有约1110亿个参数。而据估计,如果按照相同的比例来提升,GPT-5可能将突破10万亿的参数规模,成为迄今为止最大规模的人工智能大模型,超越其他竞争对手。 |