本站出售,有兴趣带价格联系QQ:503594296

Meta抢走风头 却被马斯克的xAI OpenAI公布强化微调 (meta分析属于什么论文类型)

admin1 8个月前 (12-07) 阅读数 18 #美股

就在OpenAI的“12日大直播”进入第二天之际,马斯克和扎克伯格同时出手,争抢市场的留意力。

在进入正题前, 先简明引见一下OpenAI第二日直播公布的产品:强化微调(Reinforcement Finetuning) 。这是一种旨 在特定范围经常经常使用十分少的训练数据,就能在o1等模型的基础上发明专家模型 的性能。例如OpenAI正在与汤森路透协作,打造专属于该公司的法律专业模型。

OpenAI在演示中表示, 经过强化微调后,哪怕是基于o1-mini的专属模型,在应对特定义务时的表现,也会比通用o1模型的表现更好 。公司引见称,这个项目适宜那些执行“ 由专家主导狭窄、复杂义务的机构 ”,例如金融、法律、医疗、工程等范围都有或许获益。

目前开发人员要求经过开放取得强化微调alpha项目的访问权限,公司等候在2025年终地下提供这项服务。

很显然,OpenAI的新品应该会令那些有训练模型需求的程序员们感到激动,但大少数“坐等现成产品”的消费者恐怕就没什么觉得了。

就在这个时辰,马斯克的xAI和Meta公司出手了。

Grok聊天对一切用户开放

不少马斯克旗下社交媒体平台X的用户发现, 从周五末尾,不加钱订阅会员的用户也能经常经常使用Grok聊天机器人了。

Grok由xAI去年推出,在往年8月介入了“文生图”性能。与公司老板马斯克一样,这个AI产品也十分特立独行—— Grok应该是目前支流大公司的AI产品里,惟逐一个没有设置严峻安维护栏的聊天机器人 ,例如用户可以生成特朗普这种知名群众人物的AI图像。

依据报道, 没有给马斯克付钱的用户,每两小时可以向Grok发送10条信息 。更关键的疑问是,随着这款颇具争议的产品面向上亿用户不要钱开放,未来在互联网上分辨图片真实性的难度料将清楚优化。

xAI本周向美国证券买卖委员会提交报告,披露成功了一笔60亿美元的融资,公司的估值曾经逾越400亿美元。

Meta公布Llama家族新成员

在开源AI赛道上领跑的Meta公司周五宣布, 推出Llama 3.3 70B模型 。目前开发者们曾经可以从Llama官方或“抱抱脸”等代码平台上下载。

Meta的生成式AI副总裁Ahmad Al-Dahle表示, 纯文本的Llama 3.3 70B能够以更低的本钱,提供与Llama家族最大模型Llama 3.1 405B相当的性能水平 。运行最新的后训练(Post-Training)技术进度,该模型在清楚下降本钱的同时提高了中心性能。

Al-Dahle也公布了一张侧视图,显示Llama 3.3 70B模型在多个基准测试中表现优于谷歌的Gemini 1.5 Pro、OpenAI的GPT-4o,以及亚马逊的Nova Pro,而且在本钱上还有很大优点。

为了介入这场AI时代的竞争,Meta本周刚宣布将斥资100亿美元在路易斯安那州树立公司历史上最大的人工自动数据中心。扎克伯格此前曾表示,为了训练下一代Llama模型Llama 4,公司要求的计算才干是训练Llama 3所需的10倍。


马斯克烧几十亿美元造最大超算中心,10万块H100训练Grok追逐GPT-4o

马斯克的xAI公司宣布将投资巨额资金建造全球上最大的超算中心,以确保Grok 2及后续版本的训练需求。 此超算中心估量在2025年春季建成,规模将是目前最大GPU集群的四倍。 马斯克指出,Grok 2训练要求约2万个基于Hopper架构的英伟达H100 GPU,而Grok 3及更高版本则要求10万个H100芯片。 特斯拉第一季度财报显示,公司曾因算力限制而推延Grok 2模型的训练与发布,方案年外部署8.5万个H100 GPU,破费60亿美元中的大部分用于购置芯片。 每台H100芯片的售价约3万美元,仅芯片费用就要求28亿美元。 马斯克表示,这个芯片储量足以训练Grok 2。 但是,他或许以为这不够打破性,选择建造一个超级计算工厂,方案部署10万个H100芯片。 该工厂将与Oracle协作,估量在2025年春季之前运转。 扎克伯格也宣布了Meta将额外购置50万块GPU的方案,总数到达100万块,批发价值达300亿美元。 微软的目的是到年底拥有180万个GPU,OpenAI希望为最新AI模型经常使用1000万个GPU,并讨论了一个价值1000亿美元的超级计算机方案。 这场算力竞赛的赢家或许是英伟达,由于其CFO Colette Kress提到Blackwell旗舰芯片的优先客户名单包括科技巨头,英伟达未来的产品更新也将继续为这些巨头提供支持。 芯片充足后,电力供应将成为未来最大的限制要素,尤其是关于拥有10万GPU的数据中心要求的100兆瓦电力。 为了降低本钱,数据中心通常选址于电力廉价且供应充足的偏远地域,例如微软和OpenAI在威斯康星州建造大型数据中心,亚马逊云服务的数据中心则位于亚利桑那州。 马斯克表示,xAI或许会将超算中心建在特斯拉总部德克萨斯州奥斯汀市。 在数据中心启动模型训练是一个耗电环节,例如训练GPT-3的耗电量相当于130个美国度庭一年的电量。 CEO Sam Altman投资了Helion Energy,这家公司旨在经过核聚变提供环保且低本钱的AI数据中心运转方式。 但是,马斯克以为AI公司很快将争夺降压变压器,以将高压电流转换为电网可用的电力,从而从公用电网失掉电力。 AI行业或许要求“transformers for Transformers”来应对未来应战。

刚刚,马斯克xAI官宣开源自家大模型Grok!网友:现压力给到了OpenAI

马斯克的xAI公司宣布行将在本周开源其大模型Grok,此举在与OpenAI的法律纠纷中显得尤为关键。 马斯克借此时机强调了开源和非营利人工智能的承诺,借此占据了品德洼地,引发了网友对OpenAI的压力。 Grok基于Grok-1,拥有8192的上下文长度和与GPT-3.5相当的实力,以敢说敢讽为特点,目前尚不清楚开源细节。 开源大模型对依赖它的公司和组织意义严重,将加中选择和定制空间,但商用细节还需等候官方确认。 Grok在xAI平台上作为订阅服务推出,表现逾越了部分竞争对手,如Llama-2-70B和GPT-3.5,且在幽默感上有所打破。 马斯克的这一举动旨在回应OpenAI的商业化转向,暗示OpenAI背叛了最后的非营利目的。 开源面前,马斯克也看到了商业利益,如经过开源吸引开发者和客户,相似Llama和Mistral AI的成功案例。 虽然OpenAI在AI范围抢先,但这场开源与闭源的竞赛仍将继续。

刚刚,马斯克xAI官宣开源自家大模型Grok!网友:现压力给到了OpenAI

马斯克宣布本周将开源自家大模型Grok,此举被视为成功占领开源品德洼地,对OpenAI构成压力。 Grok基于Grok-1,是马斯克的公司的第一个大言语模型,旨在回答各种疑问,助力人类追求了解和知识。 虽然开源的细节尚不明白,但Grok的出现将为依赖开源生成式AI的公司或组织提供选择,推进开源社区开展。 Grok-1与GPT-3.5实力相当,但更勇于表达观念,甚至具有挖苦性。 目前,Grok作为“Premium+”订阅服务的一部分,每月不要钱16美元。 在各种基准测试中,Grok-1表现超越Llama-2-70B和GPT-3.5,虽与GPT-4仍有差距,但其幽默感和交互才干为用户带来新颖体验。 马斯克起诉OpenAI,指控其违犯开源承诺,将Grok开源视为对OpenAI的直接回应。 开源执行标明马斯克支持开源技术,并或许出于商业考量,希冀经过开源战略促进模型采用与推行,同时减速新版本开发,坚持在开源与闭源竞争中的优势。 虽然开源与闭源之争仍在继续,马斯克的开源执行展现了一种新的战略,或许对AI范围发生深远影响。 Grok的开源不只对依赖开源生成式AI的公司或组织构成利好,也为开源社区注入新的生机,推进技术创新与运行。

版权声明

本文来自网络,不代表本站立场,内容仅供娱乐参考,不能盲信。
未经许可,不得转载。

热门