小说屋

手机浏览器扫描二维码访问

第113章 意外的邀请(第1页)

相比效果显著,非常出色的老虎算法,移动端优化排序算法的效果要稍差一些。

因而孟繁岐并没有急着推动上线测试,而是等待结合AI语言解释模型的那一个更新准备一起推动。

目前针对语言问题所采用的通常是循环神经网络(RNN)和长短期记忆办法(LSTM),这两个工作都是上个世纪末的老办法了。

这两种方法简明好用,因而一直兴盛到2017年左右。

直到Transformer,也就是ChatGPT的T方法出现。

通常来说,大家都认为Transformer方法之所以能够迅速取代RNN和LSTM,主要是因为它更方便并行进行。

在多个设备上容易做到并行,这件事最核心的意义便是让规模庞大的版本成为可能,这也为后来ChatGPT这样的究极巨无霸模型奠定了基础。

“其实老版的RNN也有办法可以把并行做得很好,领域内对这件事有很大的误解。”孟繁岐皱着眉头思索道。

原本时间线,Transformer出来之后,所有人都放下了手头老方法的研究,拥抱了T方法。

可18年实际上有人专门做了RNN的高度并行,只可惜已经太迟了。

如果这个发现可以早一年的时间,可能RNN会长期作为T办法的竞争对手,我们也有可能看到ChatRNN的出现。

“早期的T方法需要很多数据,各种参数比较难调整,需要的计算能力也很庞大。”孟繁岐即便根据后来成熟的许多方法做了一个改进的版本,T方法在早期仍旧比较麻烦。

“好在谷歌的数据和算力都不缺,而我也比较熟悉各种经典的参数设置。”孟繁岐先写了一个雏形版本的T方法,进行了一下测试。

“不过,受限于现在显卡的显存,模型没有办法做得很大,除非我专门再去开发DeepSpeed这样的高级并行方式。”

在多张卡上训练模型,可能是为了追求速度,也可能是因为一张卡上放不下了。

其中,数据并行是最简单的,也就是不同的卡都在做同样的事情,每张卡上都会存放一个模型。

只不过输入的数据不一样,不同的卡做完运算之后,再一起整合更新。

就像是所有人都拿了同样的刀切不同的菜,最后把切好的食材堆在一起。

可有的时候,一张卡上根本就放不下模型,这样的情况就比较麻烦了。因为一个人根本拿不动这把刀了,需要多人协作。

可以把每一层拆分到不同的卡上,也可以把不同层分配到不同的卡上,如此一来,其实是用多卡实现了类似单卡训练的效果。

显然,前者会比后者容易非常多,前者只需要在不同卡上复制这些模型,分别读取数据做运算就好。

而后者则需要根据不同的情况和设置拆分合并,一个不小心就会搞错。

看了下谷歌大脑的服务器,里面有好几批2013款的GTX泰坦,这东西着实价值不菲。

考虑到当时的其他产品,6G的显存还是鹤立鸡群的。

比起孟繁岐自己重金购置的4G旗舰款,多出的2G显存,足够做很多其他的事情了。

用速度换显存,孟繁岐又做了许多参数和信息在Cpu和Gpu上反复转移的操作。

因为在正式入职之前,谷歌大脑分配给他的显卡就已经有16张泰坦,这部分卡拨给孟繁岐独享,随时都可以使用。

除此之外,还有32张在不同节点上的Gpu可以申请占用。

丹道龙皇  改局之谋  神环啸  携猫主子勇闯星域  一诺千金断绝尘  激荡一九九五  什么?我体内有一座剑山  西游之开局加入聊天群  寡人刘玄德  银河记事  霸总战神之当代侠侣  我在西游交易万物  我的御兽养成计划  炮灰表小姐苟命日常  她似春光明媚  影视世界里的假道士  年代文女配重生后踹了男主  陆总请滚开,别打扰我种地  异界大乱斗之乱的很  善男信女  

热门小说推荐
重生1978,从邮电维修工开始

重生1978,从邮电维修工开始

关于重生1978,从邮电维修工开始苏臣重生了,回到四十多年前父亲出事的当天。前世年轻的时候,苏臣是个不务正业游手好闲的小混混,为了一家人的生计,父亲挺而走险,倒卖鸭蛋。这个看起来无足轻重的小事,却被他人无限放大,在连续三天的批斗游街之后,父亲便撒手人寰。在接下来便是自己的入狱,母亲和两个妹妹相继离世,这一切都源于大队支书何雄的阴谋。好在老天有眼,不仅让自己重生了,这一世自己要好好做人,善待家人,惩治恶霸。...

穿越三国,落魄汉室的江东之路

穿越三国,落魄汉室的江东之路

++穿越到了三国时代,他成了落魄的汉室宗亲。他不会武艺,却会造纸奇术,他要用造纸来改变天下。然而,家中突发罹难,他被迫仓皇而逃,他的命运从此改变南下途中,巧遇造反失败而逃窜的甘宁,与之结伴而行。他收名臣名将,关羽诸葛亮鲁肃黄忠陆逊尽入其手,从而南击孙策,北拒曹操,终成霸业当然,也少不了诸多三国时...

穿越了,我的手机还能购物

穿越了,我的手机还能购物

关于穿越了,我的手机还能购物黑道大哥陪媳妇儿打扑克小弟送来了药,谁知道吃下一下把自己送走了意外穿越,还有楚楚可怜的嫂子要照顾嫂子以后有我在,就不会有人在欺负你峰儿,嫂子有你真好峰儿,嫂子又给你寻了一个好人家峰儿,你看这个女子怎么样不不不,嫂子,有你就够了...

重生回来后带着空间回家悠闲种地

重生回来后带着空间回家悠闲种地

关于重生回来后带着空间回家悠闲种地谭薇,死了又活了。前一世的谭薇为了工作,身体熬坏了,亲情,爱情,友情也没了。重来一世,自己拥有了空间,放下工作,决定回家种地养老,悠闲度日。在老家,谭薇种地种得风生水起,遇到了一个自己喜欢的男人,边种地边谈恋爱,最后家庭幸福,还过上了猫狗双全这种梦寐以求的生活!...

老实人就不能玛丽苏吗

老实人就不能玛丽苏吗

本书简介正文完结,番外隔日更。我是一名女alpha,贫穷憨厚但老实,特长是接盘。无论你是与初恋闹脾气的有钱少爷,还是被凤凰a伤害的鳏夫,又或者是名利场的交际花都可以找我,我会提供温情安慰默默心疼以及深情守望服务。总而言之,分币不花,主打陪伴就是我的人生信条。没办法,谁让我是天选的痴情冤种,不愿意看见任何人流泪。  我的老实大家有目共睹,即便有天我犯罪了,身边人接受采访也会说这是个老实人,被社会逼的。  所以就算我做错了什么事,那也不是我的问题。  我洁身自好,亲密是对方主动的。  我自尊清高,钱是被逼着接受的。  我专一深情,暧昧是被人设计的。谁让我老实又诚恳,贫穷又单纯呢?后来东窗事发,他们来势汹汹,互扯头花。  无所吊谓,我可没说过我会负责。是是是,我是说过我超爱啦。但谁说爱就一定要在一起?排雷指南1正文第一人称,玛丽苏,全员单箭头2abo,女a有唧,gb,无反攻,女主纯13非大女主爽文,纯恋爱故事整活玩票4不搞abo平权5全员烂人,人夫非c,其他c6禁吵戏份※接档※娇娇,你也不想温之娇是江远丞的所属物。这是a市名流圈心口不宣的秘密,他们没见过她,却知道江远丞养了只宠成眼珠的金丝雀,为她还折了半条腿。后来江远丞成了植物人,在病房里,圈子里的人终于见到了温之娇。木讷乖巧,漂亮怯弱。明明群狼环伺,却毫无自知地展现着脆弱。温之娇是玛丽苏小说里的恶毒女配,她会在江远丞昏迷时暴露真面目,辱骂他,虐待他,欺负女主,引起他兄弟们(男主们)的厌恶与报复,惨淡下线。她不想改变未来,一切照做,狂踩雷区,有天却收到了几封匿名邮件娇娇,你也不想他醒来吧,我(们)可以帮你。温之娇?书里没说她有炮灰跟班啊?她把几封邮件抄送给了彼此,想找出是谁。结果第二天,男主们打起来了。温之娇?她觉得一定是自己不够恶毒,还是太怯弱了。但努力变坏的她,让天生坏种的男主们看了只觉怜爱。没关系的,怯怯的也很可爱,坏一分钟也很厉害了。江远丞昏迷前,兄弟们说你跟她玩玩罢了,别太当真。为订婚折条腿?她也配?你别折磨自己了,我看不下去了。江远丞昏迷后,兄弟们说她跟你玩玩罢了,别太当真。折条腿能在一起?你也配?你怎么还没死,我看不下去了。江远丞江远丞6排雷1娇软怯弱道德感低万人迷女主,男主男配全员坏种偏执狂,单箭头,雄竞修罗场,超夸张非现实悬浮有钱描写2无逻辑玛丽苏,小学生文笔,纯感情流非爽文大女主女强(划重点)3没大纲不端水,禁吵戏份,吵的一律删评拉黑老实人就不能玛丽苏吗全文免费阅读,如果您喜欢老实人就不能玛丽苏吗叫我苏三少最新章节,请分享给您的好友一起来免费阅读。魔蝎小说...

女尊一夫两侍我靠美食筑巅峰

女尊一夫两侍我靠美食筑巅峰

关于女尊一夫两侍我靠美食筑巅峰女尊文多男主女主不恋爱脑事业感情双线本书又名温馨提示本文是古代女尊世界美食经商文,不是大女主逆袭打脸爽文,整体风格是温馨平淡的哦,没有太多打脸情节,女主善于找靠山抱大腿。陈娇娇一觉睡醒后发现自己穿越了,穿越到了一个没有宫寒,没有大姨妈,女人不用生子,女人可以当家做主考科举的女尊世界。同时这也是一本女主靠科举升官发财的科举文,自己是文中前期的炮灰垫脚石,为了改变家族命运,陈娇娇决定紧抱书中女主大腿,迎娶女主大龄未婚的哥哥,在女主发达前跟女主家打好关系。顺便准备开个小酒楼继续发扬现代美食,结果一不小心酒楼越开越大,从小小的清水县开到了府城,又从府城开到了天子脚下酒楼开腻了,顺便再开个美容店,结果美容院又一路做大开到了京城,然后王府世女成了陈娇娇的好友,还非要把自己暗恋的白月光塞给陈娇娇,王府小世子看上了陈娇娇,哭着闹着要去陈家做小侍。陈娇娇能怎么办,只能含泪收下两个小侍了。这是一个现代美食博主迎娶白富美走上人生巅峰的故事。...

每日热搜小说推荐