手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
激荡一九九五 丹道龙皇 一诺千金断绝尘 我的御兽养成计划 年代文女配重生后踹了男主 影视世界里的假道士 神环啸 善男信女 霸总战神之当代侠侣 寡人刘玄德 银河记事 炮灰表小姐苟命日常 什么？我体内有一座剑山 陆总请滚开，别打扰我种地 西游之开局加入聊天群 携猫主子勇闯星域 我在西游交易万物 改局之谋 她似春光明媚 异界大乱斗之乱的很
我为天道：打造混沌最强世界
成为大千世界天道是一种什么样的体验？秦御的回答是无力，是绝望的！麾下有着十万大罗金仙，金仙，太乙金仙数十亿，数之不尽的生灵。更是有着一次又一次打破桎梏，比之大罗金仙极限九重天，更要强悍千百倍的大罗金仙十二重天无敌存在。这种配置，在大千世界中当属无敌，本应当能镇压一切不服，横推一切。可让天绝望的，正是这些强悍到收束过去未来，跳出时空长河的大罗金仙。叛徒，全是叛徒！演员，全是演员！所有强者都背弃了生育供养他们的世界！长青仙界再也看不到一丝希望。只能等待被榨干所有养分，而后绝望的寂灭于混沌海。可就在秦御准备摆烂之际。祂身为穿越者的外挂到账了。意识深处有着一座造化之门。能根据祂自身强弱，渗透过来相当于万倍本源能量的造化之气。祂没有用来拯救尽是背叛，白眼狼的长青仙界。而是重开小号，打造出了一方混沌海中独一无二的世界！携无敌之势强势回归，将所有背叛埋葬…（本书有借鉴一定洪荒元素，但不是洪荒，请不要以洪荒为标准。）...
谁让他开机甲的
关于谁让他开机甲的开最强的机甲，拥最美的女人，做最巅峰的天才！陆云我都穿越了，变态一点怎么了？...
钟小艾给我，侯亮平急眼
关于钟小艾给我，侯亮平急眼山水庄园，正值钟小艾过来调查，穿越过来的祁同伟激活纵欲系统，只要说出内心真实想法，就能获得积分奖励。恰逢这个时候，侯亮平突然到访！这下解释不清楚了！既然解释不清楚，那么我就表白钟小艾！小艾，我爱你，嫁给我吧，侯亮平不值得！钟小艾你在胡说些什么？钟小艾被吓了一跳，忙不迭躲进柜子里！侯亮平学长，你的柜子里到底藏了什么？有什么见不得光的事情？梁璐同伟，你赶紧把柜子打开！夫妻一场，你别做的难看！祁同伟学弟千外别打开啊，你会后悔的！...
萌妻出没，请注意！
...
华娱从西游记开始
一个普通影视爱好者，重生到82年的西游记剧组，不懂演戏，不懂唱歌，不懂导演，一上来就要演戏，主角要怎么做？在时代的大波浪下，一步步见证主角的成长，见证华娱的变迁。这是一个成长的故事，一个从冷眼旁观到主动承担责任的故事。金手指天道酬勤面板娱乐版女主青梅竹马高媛媛，欢喜冤家曾大美。...
掰弯自己也不放过你（直播）
本书简介 许喃是一个变装主播，专走萌妹路线，平台账号喃妹他一直做的不温不火，直到某天他突然拥有了一位打榜贼帅的好大哥，pk从来不输，排位，年度赛更是吊打各位一姐一哥，荣登新任顶流。这么义气的哥们儿可不多见。许喃陪玩陪聊，午夜哄睡，一条龙服务到位！好大哥心情不好，他搜刮全网冷热笑话，务必逗笑大哥。好大哥生病，他连夜买药点外卖，隔网也要熬夜陪护。天气冷，叮嘱大哥穿衣，下雨，提醒大哥带伞，饭点温馨问候，生日礼物精心准备，逢年过节仪式感满满。许喃坚信天底下不会再有比他更好更贴心的兄弟！余戌某次手误点进了一个叫喃妹的直播间虽然这女孩子成天喜欢乱撩拨，声称全世界最最喜欢他，对他百依百顺，如痴如狂。但既然非他不可余戌咳，那在一起也不是不行喃妹…掰弯自己也不放过你（直播）全文免费阅读，如果您喜欢掰弯自己也不放过你（直播）几树最新章节，请分享给您的好友一起来免费阅读。魔蝎小说...