快科技2月13日音书，据报说念，字节逾越豆包大模子Foundation团队近日告示了一项繁重创新效果——UltraMem零散模子架构。

这一架构通过将臆度和参数解耦，在保证模子效果的同期，灵验经管了推理经过中的访存问题，为东说念主工智能规模带来了新的摧毁。

据了解，UltraMem架构隐讳地将臆度与参数隔离，不仅确保了模子的超卓性能，更针对推理经过中的访存瓶颈建议了翻新性经管决议。

这一策画直击流弊，灵验支吾了搀杂巨匠（MoE）模子在推理阶段弥远际遇的高访存本钱挑战，该挑战以往极地面截止了MoE模子的等闲行使。

收货于其特有的架构策画，UltraMem权臣擢升了推理速率，相较于传统MoE架构，擢升幅度惊东说念主地达到了2至6倍。更令东说念主立志的是，该架构还完了了推理本钱的大幅度削减，最高降幅可达83%。

实验数据彰显了UltraMem架构的庞杂实力：在考研规模达到2000万value的要求下，UltraMem模子在同等第别的臆度资源上，展现了业界顶尖的推理速率和性能推崇。这一摧毁为构建规模达到数十亿value或expert的模子铺平了说念路，预示着东说念主工智能规模将迎来愈加高效、经济的新发展形状。

【本文收尾】如需转载请务必注明出处：快科技

职守剪辑：鹿角开yun体育网

著述执行举报

]article_adlist--> 　　声明：新浪网独家稿件，未经授权窒碍转载。 -->