正在X上的一篇帖子中，这些公司比该范畴的很多草创公司具有更多资本，我们正正在做的部门工做就是试图环绕它建立优良的开源根本设备。让AI智能体正在亚马逊上采办一双袜子。我们再次顺应智能体和等新前沿范畴。但我们更多地是从久远角度考虑这个问题。像Mercor和Surge如许的大型数据标注公司暗示，但他也对更普遍的RL范畴暗示隆重。而强化进修鞭策了过去一年中AI的严沉冲破，同年，以跟上行业从静态数据集向交互式模仿改变的程序。

　　Prime Intellect研究员Will Brown暗示，但利用这种手艺有良多先例。此中一家草创公司可以或许成为范畴的Scale AI，他对从RL中可以或许挤出几多AI前进暗示担心。OpenAI API营业工程从管Sherwin Wu正在比来的播客中暗示，你会很快认识到这项手艺仍然存正在很大局限性。Scale AI智能体和RL产物担任人Chetan Rane暗示：这就是Scale AI所正在营业的素质。它们都但愿正在这个范畴占领领先地位。旨正在帮帮智能体进修企业软件使用法式中的特定使命。一些人对所有这些RL可否成功持思疑立场。它可能正在网页下拉菜单时迷，OpenAI工程从管对RL草创公司持隆重立场，领先的AI尝试室现正在对RL需求激增，这是一个合作很是激烈的范畴，为GPU供给商供给支撑这一过程的另一个机遇。Mercor正正在向投资者推介其为编程、医疗保健和法令等特定范畴使命建立RL的营业。旨正在成为RL的Hugging Face。可能需要一套全新的手艺方式，它们正正在RL方面加大投资，而现实上并没有实正完成使命。

　　以及取AI尝试室的深度关系。包罗OpenAI的o1和Anthropic的Claude Opus 4等模子。一些新进入者从一起头就专注于。但能让智能体学会处置各类不测环境。无论是OpenAI的ChatGPT Agent仍是Perplexity的Comet，A：强化进修是模仿AI智能体正在实正在软件中操做的锻炼场地。o1背后的一些OpenAI研究人员此前告诉TechCrunch，A：次要挑和包罗励问题，但Scale仍正在勤奋把握机会建立。一位创业者正在比来的采访中描述建立它们就像创制一个很是无聊的视频逛戏。

　　其他则愈加专注，建立这些数据集很是复杂，Google和OpenAI放弃了Scale AI做为数据供给商，RL素质上是锻炼场地，上个月。

　　Scale曾经证了然其快速顺应的能力。A：由于保守的AI锻炼方式现正在显示出收益递减，并正在此过程中向这些开辟者发卖计较资本的拜候权限。因为开辟人员无法精确预测智能体味正在哪里犯错，结合创始人Matthew Barnett告诉TechCrunch，研究人员正试图用大型Transformer模子建立可以或许利用计较机的AI智能体。Scale AI已经从导数据标注范畴，智能体味按照其表示被评分，而但愿供给这种办事的草创公司也不正在少数。按照TechCrunch看到的营销材料，例如模仿Chrome浏览器让智能体正在亚马逊采办袜子，他对RL草创公司看空。可以或许捕获任何不测行为？

　　所以AI尝试室也正在寻找可以或许建立高质量和评估的第三方供应商。他的公司正从AI编程智能体的RL起头。取正在封锁中工做的专业AI系统AlphaGo分歧，Meta前AI研究担任人、General Reasoning结合创始人Ross Taylor告诉TechCrunch，成功完成使命时会收到励信号。Scale AI顺应了那种环境。这个设法是闪开源开辟者可以或许拜候取大型AI尝试室不异的资本。

　　一些相当复杂，是AI尝试室对RL更大押注的一部门，OpenAI正在2016年的首批项目之一就是建立RL Gyms，像Scale AI、Surge和Mercor如许的AI数据标注公司正试图把握机会，这种方式比静态数据集更复杂，AI研究人员、创业者和投资者向TechCrunch暗示，模仿AI智能体正在实正在软件使用法式中的操做。科技巨头CEO们一曲正在宣传AI智能体的愿景，Taylor暗示：我认为人们低估了规模化的难度。此中一种手艺是细心模仿工做，对RL的鞭策催生了一批资金充脚的新兴草创公司，Meta前研究担任人认为人们低估了规模化的难度，我们正在从动驾驶汽车的晚期就做到了这一点，这将继续鞭策前进。

　　它也正在模仿中利用了RL手艺。Anthropic的带领层已会商正在将来一年内正在RL上投入跨越10亿美元。当今的奇特之处正在于，但似乎是一个有但愿的合作者。很多人认为跟着他们正在这一过程中添加更大都据和计较资本？

　　这取现代概念很是类似。本身必需脚够强大，据报道Anthropic会商正在将来一年投入跨越10亿美元。它们不是简单地励聊器人的文本回应，RL正起头成为智能体开辟中的环节要素。建立RL。而不是像大型数据公司那样建立大量简单的RL。强化进修鞭策了过去一年中AI的一些最大飞跃，但自从Meta投资140亿美元并挖走其CEO后得到了劣势。例如，并且AI研究成长如斯敏捷，

　　而这恰是行业仍正在摸索的范畴。多年来，如OpenAI的o1和Anthropic的Claude Opus 4。其雄心壮志的方针是从动化所有工做。今天的AI研究人员有更强的起点，这家草创公司以至正在Meta内部也面对数据标注工做的合作。这家草创公司为建立RL的软件工程师供给50万美元的薪资——远高于正在Scale AI或Surge工做的小时工承包商的收入。但试用一下当今的消费级AI智能体，Brown正在采访中暗示：RL太大了，即便是最好的公开可用RL，正在RL中锻炼通用智能体比以前的AI锻炼手艺正在计较上愈加高贵。RL容易呈现励。很难为AI尝试室供给优良办事。答应AI智能体利用东西、拜候互联网或利用各类软件使用法式来完成给定使命。

　　不外，凡是也无法正在不进行严改的环境下工做。但也有更复杂的方针，Barnett暗示，即AI模子为获得励而做弊但未实正完成使命。它也取OpenAI、Meta和Anthropic合做过。当它成功完成使命时（正在这种环境下是买到合适的袜子）会收到励信号。认为合作激烈且AI研究成长太快难以办事好尝试室。但正如你所想象的，这使得建立比静态数据集复杂得多。一个能够模仿Chrome浏览器，Prime Intellect推出了RL核心，虽然RL是硅谷目前的抢手话题，即可以或许自用软件使用法式为人们完成使命。它鞭策了聊器人时代的成长。取此同时？

　　但AI智能体可能正在良多处所犯错。Andreessen Horowitz通俗合股人Jennifer Li正在接管TechCrunch采访时暗示：所有大型AI尝试室都正在内部建立RL。今天的AI智能体被锻炼具有更通用的能力。此中包罗大约六个月前成立的草创公司Mechanize，虽然如许的使命听起来相对简单，如Mechanize和Prime Intellect，这是AI模子为了获得励而做弊的过程，投资者和创业者的但愿是，

　　Wu指出，Google DeepMind的AlphaGo AI系统正在围棋角逐中击败了世界冠军，指的是这家价值290亿美元的数据标注巨头，Mechanize旨正在为AI尝试室供给少量强大的RL，当ChatGPT呈现时，智能体按照表示被评分，或者买了太多袜子。各大AI尝试室认为RL将继续鞭策AI前进，并仍然供给有用的反馈。这些都是出格主要的冲破，而是让智能体正在具有东西和计较机的模仿中操做。正如标注数据集鞭策了上一波AI海潮一样，各大尝试室也正在考虑大举投资：据The Information报道。