手机浏览器扫描二维码访问
437 傲慢的代价（第2页）
在稀疏这一方向上，孟繁岐选择了细粒度，矩阵层面的稀疏。
DS则选择了通道层面的MoE，混合专家模型。
简单来说，DS选择把模型拆分为1632个专家，就像是把一块蛋糕均分切成1632块。
每一块都是不同的味道，每一个专家更加专注于不同的知识。
根据具体的情况，会有一个门控系统，来决定哪些专家参与计算。
而孟繁岐的野心更甚，他想要从根本上将整个模型在原子级别拆分，细粒度地对所有权重进行大刀阔斧地裁减，直到原本大小的1632分之一。
从理论上说，这种方式的上限更高，MoE的稀疏更显得粗糙。
另一方面，孟繁岐也有愿景，想要增强国内硬件的竞争力。
因为英伟达的设备，是无法支持这种细粒度稀疏计算的。
倘若能够先发展国内计算设备，适配这种技术，就能够在制程等诸多硬件技术落后的情况下，达到更快的推理效果。
换言之，孟繁岐又一次将希望寄予了发展周期更长的硬件厂商，那么在这方面被其他人赶上，倒也不是什么奇怪的事情了。
虽然具体实现上稍显不同，但总体来说，DS完成了孟繁岐在技术上的两点宏观展望。
从其余的许多技术细节当中，孟繁岐可以很强烈地读到，他们的开发之路走得也并不顺利。
比如说混合专家MoE，很容易让一两个专家变成懂王，什么都要参与，很多其他的专家渐渐变成了挂件，貌似在参与，其实完全就是围观的观众。
如果增加额外的损失函数去调整它们，既增加了大量计算量，又极有可能影响到训练的主要目标本身。专家们的调度问题这个小问题影响到模型的能力这个主要问题。
DS最终完美地解决了这个问题，既没有额外增添损失计算优化，又使得各专家实现了负载均衡。
孟繁岐相信，这个最终简洁优雅的技术方案背后一定存在许多努力与艰辛。
而现在的closeai对这种付出是越来越排斥的。
比起花费许多的努力在某一个算子上优化20-30%的速度，他们更愿意多用一些显卡，多花一些时间。
既然英伟达暂时不直接支持FP8做这样的操作，那就先等等吧。
诸如此类的事情持续累积，使得后来者已经实质上实现了相当数量的技术超越，甚至是在孟繁岐较为关注的技术方向上。
而DeepSeek的坦率开源，也让孟繁岐动摇了closeai是否继续闭源的想法。
“若是我适当裁减一些已经沉迷安乐的技术人员，逐渐走向开源，对比海对面的OpenAI倒也算是奇景了。”孟繁岐想到这里也是笑出了声。
自从两国关系逐渐微妙，CloseAI的在美使用就收到了限制。原本标榜开源的OpenAI逐渐走向闭源，而最初就闭源盈利的CloseAI反而在考虑拥抱开源盛世。
这倒也称得上是另一种双向奔赴了。
同一时刻，比起一直在关注技术细节的孟繁岐，普通人更为在意的，则是R1这个模型，首次揭露了前沿高性能智能思考问题的逻辑脉络。
西游之开局加入聊天群 我的御兽养成计划 善男信女 她似春光明媚 我在西游交易万物 什么？我体内有一座剑山 霸总战神之当代侠侣 神环啸 丹道龙皇 改局之谋 一诺千金断绝尘 炮灰表小姐苟命日常 陆总请滚开，别打扰我种地 异界大乱斗之乱的很 影视世界里的假道士 寡人刘玄德 年代文女配重生后踹了男主 激荡一九九五 银河记事 携猫主子勇闯星域
我在仙府悄悄苟成满级大佬
起点VIP20220311完结简介（剧情第一卷怪梦新婚完。现在开启第二卷男主祭天连载中第三卷女主祭天整理中第四卷唐尸王朝整理中q群852395659，可以谈谈剧情！！）自从唐小碗嫁到林家之后，天天做怪梦，说怪话，做怪事，什么温室菜，什么科学养鸡，什么黄豆榨油大嫂这丫头莫不是被妖怪附身了吧！二嫂这丫头的傻病不会传染吧！公公还是换个儿媳妇吧！文武双全，身怀兽语异能，躲在山村苟发育的反贼之子小夫君林平安为了保住小媳妇的家庭地位，他决定开启打造锦鲤小媳妇计划。锦鲤法则1三步一个灵芝！2五步捡只肥羊！3吃饭金沙咯牙！4喝水珍珠晃眼！5两个月暴富杨家村！6一年之内斩下青牛镇首富之位！宋晚灯穿越到修仙世界，安心做个杂役弟子，看着外面的师兄师姐下秘境，争资源打生打死，而她默默种田，默默地养妖兽，靠着氪命仙府，养出了一堆又一堆的底牌，终于在万界战场上，她带着百万妖兽宠物，横推战场，震惊了所有人！！...
七零，我成了年代文里的恶毒女配
穿越重生七零，我成了年代文里的恶毒女配作者二肥2完结 简介 沈梦是个大厂社畜，在去给合作商送合同的时候，遭遇车祸。 就在她瘫在床上独自难受的时候，突然觉醒了空间。 还不等她高兴两天，空间的後遗症也来了，她几乎每天晚上都会做一些奇奇怪怪的梦。 这让她很快警觉了起来，沈梦赶紧的卖房卖车，开始疯狂...
你是我的大女主
关于你是我的大女主警察叔叔，帮我查查这人有没有婚史？谢谢！他们的第一次约会地点是在警察局他们的每一次见面都是他的刻意安排他对她一见钟情她对他百般拒绝他们的精彩故事谁懂啊！！！...
兽世生子：猫系美人被大佬们追宠
关于兽世生子猫系美人被大佬们追宠天煞孤星的禾芊芊魂穿到兽世。成为金猫部落的雌性。原主貌丑，身体瘦弱矮小，发育不良，孤苦无依。到手一把烂牌。不怕不怕。幸亏绑定兽世生存系统，送动物亲和力赋能，送好孕生子大礼包。禾芊芊果断选择隔壁英俊阳光的兔狲兽人，当自己夫君。日子一天天红火，她脸上的脓包好了，长高了，更美了。突然有一天，被预测无生育能力的她，怀崽了。亲和力赋能Buff的加持，她妥妥的蜕变成猫系万人迷美人。撒丫子奔向好日子搞基建，种田，织布，一样样来。泠野，傲娇的猞猁兽人，孤冷清傲，为她折了腰。戬泽杀伐霸气的翼虎兽人，秒变虎斑猫，腻歪撒娇什么，宠物想升级当夫君？你咋不上天？有一天禾芊芊嘿嘿真香，路虎有，私人飞机也有，真的能上天。夜千暮霸道的疯批太攀蛇兽人，冷漠凉薄却对为她上了心忠犬雪鸮擎羽芊芊，你快看看我，毛秃了我就不可爱了吗？会幻术的人鱼冥宫谣妖孽傲娇的九尾狐狐翎，耿直的大熊猫兄弟，趾高气昂的凤凰甚至，还有个琅树藤，成了精的上古神树禾芊芊装柔弱你们不要过来啊！...
万道长途
本来以为即使穿越了也会蹉跎一生的李启，却在意外情况下，察觉到了一丝往上爬的机会。让他重新燃起了心气，鼓起勇气踏上逐道之途。丈夫心中有志，当鞭浪山而疾驱波岳，惊涛千万里！（已有百万字完本，放心追读。）（文笔保证，质量上佳）（书友群545222114）...
快穿：关于我拯救反派的那些事
关于快穿关于我拯救反派的那些事棠鲤作为天地间的最后一条锦鲤，常年有事摆烂无事休眠，没事别找我有事更别找我，终于有一天被雷劈死了。死了还被迫当起打工鱼，进入小世界当救世主复活。棠鲤我能不能选择看广告如果可以通过改变男女主命运或者攻略反派来拯救世界，你会怎么选？改变男女主命运？哈哈，癫公颠婆无可救药！拯救反派？拜托，阴晴不定的残忍大反派是人可以嗯？？？那边那个大反派你怎么回事？！怎么跟个狗皮膏药一样黏上来了啊！！！世界一柔弱的绿茶小师弟被醋的捧心倒地师姐师兄他也不是故意的世界二帮大小姐逃跑的假保镖被诱的目光沉沉小姐你，可要慢慢习惯我啊世界三残暴阴沉的王朝天子被夸的耳根发红你这女奴，说话怎么顺耳！（更多世界更新中）…女主性格可爱小甜甜，男主心思深沉老狗比（不是）各位观众老爷现场考核准女婿和女鹅的恋爱经历！...