手机浏览器扫描二维码访问
第1362章 字节豆包UraMem稀疏模型架构推理成本最高可降低83％（第1页）
在人工智能领域，随着模型规模的不断扩大，推理成本和访存效率已成为制约大模型广泛应用的关键瓶颈。传统方法如e（mixture
of
experts）虽然通过稀疏激活机制成功实现了计算和参数的解耦，但在推理场景下，其高昂的访存成本和较慢的速度却成为了不可忽视的问题。近日，字节跳动豆包大模型团队提出的ultramem架构，为这一难题提供了全新的解决方案，并在iclr
2025上得到了认可。本文将深入探讨ultramem的创新之处，以及它如何引领大模型推理的未来。
ultramem：高效推理的新纪元
ultramem是一种将计算和参数解耦的稀疏模型架构，它在保证模型效果的前提下，显着解决了推理时的访存问题。相较于e，ultramem在推理速度上实现了2-6倍的提升，推理成本最高可降低83%。这一突破性的成果，无疑为构建大规模语言模型（llm）提供了有力的支持。
在transformer架构下，模型的性能与其参数数量和计算复杂度密切相关。然而，随着llm规模的不断增大，推理成本急剧增加，速度变慢，成为制约其广泛应用的关键因素。e架构虽然通过稀疏激活机制降低了计算量，但在推理时，较小的batch
size会激活全部专家，导致访存急剧上升，推理延迟大幅增加。而ultramem则通过一系列创新设计，有效解决了这一问题。
ultramem的创新之处
ultramem的创新主要体现在三个方面：优化模型结构、优化va露e检索方式以及隐式扩展稀疏参数。
首先，在模型结构上，ultramem借鉴了pkm（product
key
mery）的设计，但对其进行了改进。pkm的mery
layer只有一层，插在整个transformer的中间层，这对大规模训练并不友好。ultramem则拆分出多个小mery
layer，以固定的间隔分布在transformer
layer中，并增加了skip-layer操作。这使得模型可以并行地执行mery
layer的访存操作和transformer
layer的计算，从而提高了推理效率。
其次，在va露e检索方式上，ultramem采用了更复杂的乘法方法tucker
deposed
query-key
retrieval（tdqkr）。这一方法受启发于tucker
deposition，通过组合乘加行score和列score，提高了va露e检索的复杂度，从而优化了模型效果。
最后，在隐式扩展稀疏参数方面，ultramem提出了implicit
va露e
expansion（ive）方法。该方法通过引入virtual
mery和physical
mery的概念，隐式地扩展了稀疏参数的数量，从而提高了模型的性能。同时，由于ive方法中没有非线性操作，因此可以与physical
mery
table进行融合，生成全新的mery
table，进一步降低了显存和部署成本。
ultramem的实验验证与性能评估
为了验证ultramem的有效性，研究团队在多个尺寸的激活参数上进行了广泛实验。实验结果表明，ultramem在680m和1.6b的激活参数上具有显着的效果优势。随着稀疏参数的增加，ultramem的效果和推理速度均表现出良好的扩展性。
此外，研究团队还进行了消融实验，以探究ultramem各项改进对模型性能的影响。实验结果表明，通过逐渐增加一些技巧和上文提出的结构改进，ultramem能够显着降低c4
validation
loss，同时稀疏参数和计算量几乎不变。
ultramem的应用前景与挑战
ultramem的提出，为开发更高效和可扩展的语言模型提供了一个有希望的方向。它不仅能有效地应用于对延迟要求较高的推理场景（如代码补全），还能在通用场景下展现出显着的速度优势。然而，ultramem的技术演进仍存在若干值得探索的方向。例如，如何高效优化稀疏参数、如何提升稀疏模型推理能力、如何更优地激活稀疏参数等，都是后续研究的重要切入点。
总的来说，ultramem作为一种全新的稀疏模型架构，通过一系列创新设计，成功解决了大模型推理时的访存问题，实现了推理速度和成本的双重突破。它的提出，不仅为构建大规模语言模型提供了有力的支持，也为人工智能领域的未来发展开辟了新的道路。我们期待看到更多像ultramem这样的创新成果不断涌现，共同推动人工智能技术的不断进步。
顾老师，听说你也喜欢我？ 正道无疆 问鼎：从偏远镇长到权势巅峰 从杂役开始问道 兵符召唤玉玺霸主横扫万族陆云凌雪免费阅读 从黑夜中杀出一条路 兵符召唤玉玺霸主横扫万族陆云凌雪的全文免费阅读无弹窗 穿越草原，糙汉将军快放我自由 挟恩图报的他 大唐之超级商城 一胎双宝：我成了首长早死前妻 天才俱乐部 我不是戏神 我的世界烦人的怪物学院 无敌纨绔，归来祸乱天下！ 兵符召唤玉玺霸主横扫万族陆云凌雪全文免费阅读完整版 铁血丹心将军印 退休爱豆少接触二次元 奇门圣主 重生晚唐，从节度使之子开始
傻柱子的四合院
...
腹黑与天真，狐狸与太子驴
关于腹黑与天真，狐狸与太子驴倒霉太子意外跌落山崖后，阴差阳错与一头驴互换了灵魂。而这头驴的主人阿莱，正是一位狡黠而又强大的小狐狸。小狐狸在追杀太子的人中，认出了十一年前屠尽自家满门的凶手之一。于是，两人一驴在一系列啼笑皆非又险象环生的经历中，共同携手踏上了追凶复仇之旅。...
我有紫贵之气
本书简介上辈子，连晓星出生贫赛，因为有先天性疾病，被父母放弃，早早过世。投胎路上，神莲引路，天禄附魂，许愿来生要投富贵胎，大富大贵，长命百岁。投胎后，天禄命格，身负紫贵之气。富贵是富贵了，顶顶的富贵命，却是从小养在莲花观，没网没电点蜡烛此间苦。十八年后，连晓星在神兽天禄的撺掇下偷溜下山，遇到明星经济人，懵懵懂懂被骗进娱乐圈，在灵异险探险直播节目中遇女冤鸣冤直播间观众惊，莲花观的吉祥物下山了溜啊，开鬼门抓凶手，鬼门开到鬼判后院什么吉祥物？天禄命格不是主打富贵吗？她看起来那么穷连晓星我上辈子穷习惯了嘛，这辈子，我主打的就是一个富贵。仰慕者亲妈打上门连晓星，你一个被父母抛弃的孤儿，你这样的家世背景，怎么高攀得起我们高家，我告诉你，以后离我儿子远点，不然我要叫你在娱乐圈混不下去。连晓星来人啊，叉出去！冥王找上门来我媳妇儿丢了。连晓星（八卦之魂熊熊燃烧）好奇一下，怎么丢的？冥王让你家的守护神兽天禄咬死，投胎了。连晓星哦。冥王你长得跟她一模一样，我掐指一算，就是你。连晓星pa！巫神老子专心搞事业，兢兢业业发展业务，你总端老子窝点是几个意思？连晓星你的业务是抢我的业务，还糊到我脸上来了！天禄兽连晓星，老子为了保护你们全家，伤到都快死了，你还不理不踩，你要饿死老子吗？连晓星这不养着的嘛。你都附身我十八年了，还要哪样？天禄兽十八年太短，可以要求养老子一辈子不？我的主打业务是镇宅兴家旺老婆！！！注自己淋过雨，便想为人撑伞。女主上辈过得穷苦，遇到看不顺眼的事，便想帮上一帮，很是仗义豁达洒脱。有感情线，但女主更在意的是守护子民。我有紫贵之气全文免费阅读，如果您喜欢我有紫贵之气绝歌最新章节，请分享给您的好友一起来免费阅读。魔蝎小说...
去他的白月光
统一六国的天子，广纳后宫，各诸侯国纷纷献上王姬，只为博天子一笑。可惜美人们福薄，没过多久便死的死，伤的伤。一封诏书令下，天子言明要赵王最漂亮的女儿。天下人皆知，赵王的三女儿姜玥绝色倾城，为了不让宝贝女儿送死，赵王找了个替死鬼，他的第十一女儿姜姒。—姜姒身为赵王第十一个女儿，因着生母身份卑微，在宫中备受排挤，到最后还要代替姐姐进宫。她战战兢兢度日，丝毫不敢暴露身份，只想保住小命，期望有朝一日能和生母团聚。姜姒没能得天子召见，却遇到个模样好看的内侍。内侍待她极好，给她讲话本，做糕点，还托人从宫外带许多新奇的玩意。直到某日，她亲眼看到内侍谈笑间赐官员车裂之刑。当夜，内侍再次来到宫中，对上她煞白的脸，骨节分明的手指落在她的红唇上，姒姒都知道了？天子日日宿在她宫中，姜姒以为天子多少有点喜欢她，却和姜玥同时陷入险境时，被他所弃。这才知道原来天子早就知晓她是冒牌货。之所以留她在身边，只是因为她和姜玥有几分相似。姜玥是他心尖尖的人，是他爱而不得的白月光。她只是替身而已。死里逃生后，姜姒决定带着生母远走高飞，却被士兵团团围住。为首的那个，正是多日不见的天子。他眸色如泼墨般，似笑非笑姒姒要到哪里去？—没有人知晓商阙付出多大代价，才能和姜姒再次相见。魔蝎小说...
深情不再，一拍两散
我追随宋哲十二年，当了他十二年的舔狗。他追求女孩我替他出谋划策，他表白我亲自给点蜡烛。我见证了他爱上一个又一个人，与她们缠绵再到分开。我熬走了他周围所有人，终于下定决心向他表白。当我借着酒劲准备时，却听到他与朋友的恶意交谈，这时我才知在他眼中我只是玩具，可以随意送人。哥，如果你看不上温柔，你就让我尝尝呗。好啊，我叫她来。攒足失望之后，我带着全额奖学金，于大洋彼岸享受人生。他却疯了似的满世界地寻找我。...
她死后，薄爷跪在墓碑前哭成狗
现代情感她死後，薄爷跪在墓碑前哭成狗作者陆尽野完结番外 简介 六年前 乔予是双手不沾阳春水的豪门千金，娇纵任性 薄寒时是穿着廉价白衬衫的寒门才子，清贫孤冷。 六年後 乔予是挣扎在温饱边缘的单亲妈妈，卑微孤苦 薄寒时是屹立於全球福布斯富豪榜的风云人物，矜贵无双。 再遇，他双...