手机浏览器扫描二维码访问
第109章 OpenAI最近有点儿跳得限制一下（第1页）
第109章OpenAI最近有点儿跳，得限制一下！
郝成请了一顿饭，何钢吃了满肚子的心事。
饭局刚刚一结束，他就立刻回到酒店，联系上了于东。
“老何，我咋发现你每次一去临州，都会变得这么慌慌张张的呢？”
于东甚至调侃上了。
“你先别忙，听我说。”
何钢仔细的将郝成在车上的话简单跟于东复述了一遍，而后总结道：“可不要看这东西是郝成在扯闲篇，是在泛泛而谈大路的概念，是没有透露任何AI训练方法的。
“但实际上，他这个泛泛而谈，跟我们一大群人去聊天，他不一样！”
“我知道，他已经训练出小沙了，他的大路概念那是正确的概念。”
于东长长的呼了口气：“从这泛泛而谈中或许能找到方向。
“但光听这些也没有用啊！”
思索了很久，于东也是无奈道：“你说的所有的东西，我只能总结出三个字‘类似人’，而这种方向，团队早就考虑过了。
“但现在的问题不是方向，是方法，我们没有找到任何的方法。
唯一的好消息是，我们以传统方式训练AI的成本也大大的降低了，效率却大大的提高了。”
于东说的这个倒是实情，不仅仅是华为、抖音、腾讯甚至OpenAI，训练AI的成本都降低了。
究其原因，也很简单，他们让小沙帮他们做数据清洗、标定和反馈。
数据清洗原本是一个非常复杂且繁琐的工作，也是训练AI非常关键的步骤，数据清洗的质量越高，AI训练的质量也就越高。
以往，这个工作都是由人工来实现的，也有用AI来做的，但是效果就会很差，往往会投喂一些垃圾数据，造成模型被污染，进而产生一些低级错误。
而现在有了小沙，这项工作可以更快速的进行，准确率甚至不比人工清洗差。
而更关键的一个问题，以往GPT类的模型，是RLHF，也就是基于人类反馈的强化学习。
怎么做的呢：就是先预训练一个语言模型，然后做微调。
微调怎么调呢：就是你问一个问题，语言模型给你回答，然后人工给这些回答进行排名，然后获得一个有质量排序的数据集，用这个数据集反过来再去微调相关的模型参数，一遍又一遍循环往复，然后答案就会越来越接近人想要的。
而现在，小沙代替了人工的这个步骤。
RLHF模型先前被认为不可能无限提高，其中最重要的一个原因就是，随着参数越来越多，数据量越来越大，人工去获取一个有质量排序的数据集也变得越来越不可能。
于是有人就认为，自我反馈模型，也就是让模型自我去评价去提升的模型才是未来，纵然它有时候显得很弱智。
但是现在，有了小沙，小沙替代【基于人类反馈的强化学习】里边的人类，变成了【基于小沙反馈的强化学习】，这一切就又变得可能了！
不仅解决了自我反馈容易弱智的问题，同时解决了人工反馈效率过低、成本过高的问题。
这就相当于将两个模型的优点直接结合了。
而且，超大规模超超大规模，也不用担心人工的问题了。
所以，各家的模型现在进步都非常大，原因就在于此。
想要变得跟小沙一样厉害，那当然不可能——基于小沙训练的AI想超过小沙那本身就是一个悖论。
但是，只要舍得堆积算力，无限的堆积算力，再加上用小沙代替人类进行反馈的强化学习，理论上最终能极限逼近小沙的水准。
当然，理论只是理论，现实中不存在无限算力，考虑实际情况，用这种方式结合超大算力训练一年，达到小沙的六七成水准应该是可能的。
第109章OpenAI最近有点儿跳，得限制一下！
华为这边默默的评估过，现在几乎所有的AI训练企业都在偷偷的这么干。
“需要跟郝成说一下这个情况吗？”
何钢问了一嘴。
“这他应该知道吧？”
主角叫魏劭小乔的小说 和离之后 勤劳的小野猫小说主角言淼宋遇宁 折腰无防盗章节 辰小序原创新书裁员后我成了科技教父 太子妃位被夺我转身嫁太子他爹无防盗章节 顾声笙陈最笔趣阁免费阅读 陈令安袁固笔趣阁免费阅读 两小无猜 两小无猜海棠文无删减 折腰魏劭小乔免费阅读无错版 魏劭小乔折腰笔趣阁未删减版 主角叫陆凌瑶的小说 和离之后by陈令安袁固翠微居完整版 十夜灯小说主角陈令安袁固 和离之后海棠文无删减 太子妃位被夺我转身嫁太子他爹陆凌瑶免费阅读无错版 蓬莱客原创新书折腰 绝尘烟客原创新书太子妃位被夺我转身嫁太子他爹 陆凌瑶太子妃位被夺我转身嫁太子他爹笔趣阁未删减版
快穿：灵异极速无CP
关于快穿灵异极速无CP主角是用邪修手段努力做着认为是正义的事情嗷私设主角会被雷劈，是因为她收拢灵魂，即便是做了正义的事情，但是大量的收割生灵，也是会被世界驱逐听说最近干快穿是个风口，作为一个在穿越大军中没什么后台一直混不出人样的散修，伍越昭当即决定划拉划拉家底，放手一搏！拼一拼，争取单车变摩托！日常的工作内容就是打打拐杀杀贼捡捡不曾拥有的亲人请渣男贱女进万魂幡！世界一那仨都不是好东西，接任务只是因为委托人的家人实在无辜世界二黑中介里的NO1主角的梦想成真，开了一间由人贩子制作的行尸中介作者推荐嫋嫋不是弱女子（少商平替，为了圆我心中遗憾）母不慈，子凭何而孝（吃人的孝道啊，只有神兽能主持公道）...
一觉起来世界成了末世
我坐着前往沪城的高铁上，只是睡了一觉，世界发生了颠覆我认知的变化，什么丧尸真的来了，我该怎么办才能在这个世界活下来。...
都市异能：天命主宰
关于都市异能天命主宰在繁华都市的喧嚣背后，隐藏着异能的神秘力量。平凡青年林尘，在一次意外中觉醒了多种异能，从此命运的齿轮开始飞速转动。他被神秘老者引导，逐渐发掘自身的巨大潜力，却也因此被卷入了异能世界的纷争。神秘组织对他虎视眈眈，而异能家族之间的明争暗斗更是让他深陷漩涡。在叶氏家族，林尘遭遇了内部的权力纷争与阴谋背叛。是在这混乱中迷失自我，还是凭借异能与坚毅的意志冲破黑暗，掌控自己的命运？林尘的每一次抉择都关乎生死，每一场战斗都惊心动魄。在这个充满异能与危险的都市中，他能否成为主宰风云的传奇存在？...
断绝关系后：我的御兽全是神话级
关于断绝关系后我的御兽全是神话级天灾突降，凶兽肆虐，人类龟缩自保。陆飞羽重生陆家，发现正好回到自己被诬陷之时！白眼讥讽嘲笑背叛接踵而至。陆飞羽当即决定和这些白眼狼断绝关系，再无来往！就在这时，他觉醒御兽之王系统。能够为御兽增添神话血脉，纵横天下！同时附加SSS级无敌天赋！既能看破敌人所有信息，料敌于先。又可洞悉契约御兽进化路线，精准快速培养！从耀光犬到吞日神君！从魅惑妖狐到九尾天狐！从七彩蛇到不灭祖龙！陆飞羽只是站在那里，其身后的神话御兽，便足以让凶兽大军战栗！而那些白眼狼家人，更是后悔万分！...
跟着废柴师父修道
关于跟着废柴师父修道修道很难，能修成更难，但如果运气好，那又是另外一回事了，在青莲道观修道的李一飞频频出现的各种各样的奇遇，不仅在做法事的时候救活了自己14岁的小媳妇，还偶遇老道士，获其传授了梦里元神，现实中任何想要而又得不到的东西，梦里都会有，救命仙药梦里都能实现，少年小道士李一飞惊遇噬梦之龙，差点魂飞魄散，故事比较慢热，虽然很考验读者的耐心，但精彩会一一慢慢呈现。...
影视从复制傻妞开始
叶华意外获得复制系统，穿越到诸天影视世界中，复制别人的修为天赋以及各种法宝等等，从魔幻手机世界开始一路复制，号称诸天影视世界里的万宝真人，创建万宝阁，在诸天影视世界赚的盆满钵满。已完成世界魔幻手机12宝莲灯前传正传女娲传说之灵珠当前世界精卫填海PS前几个世界，主要按剧情走，因此主角存在感低，不过节奏...