英伟达不再是 AI独宠 苹果为亚马逊背书 思索用其芯片来训练模型 (英伟达消失了)

据报道，苹果目前正借助亚马逊云计算部门AWS的定制人工自动（AI）芯片来强化其搜寻等服务，并将评价该公司最新的AI芯片能否可以用于预训练“苹果自动”（Apple intelligence）等模型。

在亚马逊周二举行的年度AWS Reinvent大会上，苹果走漏了其经常经常使用亚马逊专有芯片的状况。苹果机器学习与人工自动初级总监Benoit Dupin亲身上前论述了苹果如何运行云服务虚现技术更新。

苹果此番正面支持供应商，并支持其以此作为成功案例启动推行，实属稀有。

Dupin表示：“我们有着结实的（协作）相关，（亚马逊所提供的）基础设备既牢靠稳如泰山，又能满足全球客户的普遍需求。”

有剖析称，苹果此番在亚马逊大会上高调亮相并接收其芯片，无疑是对这家云服务行业巨头的有力支持，由于亚马逊正与微软Azure和谷歌云在人工自动范围展开剧烈交锋。不过要求指出的是，苹果同时也在经常经常使用其他云服务提供商的服务。

Dupin表示，苹果十多年来不时在经常经常使用AWS来支持Siri、苹果地图及苹果音乐等服务。例如，苹果曾经经常经常使用亚马逊的Interentia和Graviton芯片来优化搜寻服务。Dupin表示，亚马逊的芯片使效率提高了40%。

与此同时，他还表示，苹果将经常经常使用亚马逊的Trainium2芯片对其专有模型启动预训练。这标明，相较于英特尔和AMD的x86架构CPU，亚马逊的芯片不只在推理人工自动模型方面展现出了经济高效的优点，而且在开发全新的人工自动运转方面也颇具潜力。

亚马逊周二宣布，其Trainium2芯片已片面开通租赁。

Dupin表示：“在评价Trainium2的早期阶段，我们估量经过预训练可以将效率提高50%。”

AWS首席行动官Matt Garman周二在接受采访时表示，苹果不时是该公司Trainium芯片的早期采纳者和beta测试者。

他说，苹果主动寻求与AWS协作，并表示：“你们如何助力我们成功生成式人工自动才干？我们要求基础设备来构建这一愿景。苹果明白表达了构建‘苹果自动’的宏伟蓝图。”

往年早些时辰，苹果在一项研讨报告中指出，它已运行谷歌云的TPU芯片来训练其iPhone上的人工自动服务，即“苹果自动”。

持久以来，人工自动训练关键依赖于多少钱高昂的英伟达图形处置器。但是，云服务提供商与初创企业正积极研发本钱更低的替代计划，并探求或许成功更高效处置的新途径。苹果采纳定制芯片的做法，或许在向其他企业传递一个信号：非英伟达的训练计划相同也能奏效。

老黄祭出新核弹B200！30倍H100单机可训15个GPT-4模型，AI迎新摩尔时代

刚刚完毕的GTC人工智能大会上，英伟达宣布了其新一代性能巨兽Backwell的降生。 Blackwell B200 GPU，是如今全球上最弱小的AI芯片，旨在「普惠万亿参数的AI」。 原本，H100曾经让英伟达成为价值数万亿美元的公司，与谷歌、亚马逊不相上下，但如今，仰仗Blackwell B200和GB200，英伟达的抢先位置将愈加稳如泰山。 老黄表示，「我们要求更大的GPU」，并展现了Blackwell B200 GPU的威力。 这款GPU拥有2080亿个晶体管，能够提供高达20 petaflops的FP4性能，相比H100的4 petaflops成功了5倍性能优化。 而GB200则将两个B200与单个Grace CPU相结合，为LLM推理任务负载提供30倍的性能优化，并大幅提高效率。 与H100相比，GB200在本钱和能耗上最多可降低25倍。 Blackwell芯片和Hopper H100芯片的性能对比显示，这种额外的处置才干能够训练更大、更复杂的模型，甚至部署一个27万亿参数的模型。 未来AI模型将解锁更多新性能，涌现出更多新才干。 Blackwell B200 GPU和GB200「超级芯片」的推出，标志着AI行业迎来新摩尔时代。 英伟达仰仗其抢先的技术和产品，引领了这场新工业反派。 随着Blackwell的推出，AI公司可以训练更大、更复杂的模型，成功史无前例的计算才干。 这一里程碑事情不只展现了英伟达在AI范围的抢先位置，也预示着AI技术的加快开展和普遍运行。 Blackwell B200 GPU和GB200「超级芯片」的发布，将推进AI行业的进一步开展，为AI模型训练和推理带来反派性的变化。

16家头部大模型公司上海奥秘碰头，现场人挤人人人

金磊 明敏 发自 上海 量子位 | 群众号 QbitAI大模型公司齐聚一堂，现场摩肩接踵，挤得风雨不透。 国际外知名的大模型公司简直全部到场，包括Anthropic、Meta、、、月之暗面、智谱AI、百川、MiniMax等。 此次聚集的要素，正是亚马逊云科技所举行的中国峰会，焦点在于生成式AI。 自AIGC大战末尾以来，全球科技巨头如谷歌、微软、OpenAI等不时紧追不舍。 亚马逊云科技虽然在曝光度上不如它们，但这场活动吸引了众多厂商和观众，要素在于亚马逊云科技在生成式AI范围展现出了“全栈+全能”的形态。 亚马逊云科技在生成式AI的三大关键层面——即运行、剖析处置、模型层，提供了普遍而深化的支持。 在运行方面，企业可以应用Amazon Q助手，依据企业特定的人员、角色和权限启动定制化服务，比如经过Amazon Q Developer，开发者可以仅经过简易的操作和要求来成功性能开发和代码转换。 Amazon Q Business则协助员工简化义务、减速决策，经过整合剖析、撰写报告和制造PPT文稿等义务来提高效率。 Amazon Q Apps更是让员工可以加快且安保地基于企业信息创立、分享运行程序，无需任何编程阅历，经过历史对话成功智能化。 在数据剖析处置方面，Amazon Q集成到了QuickSight中，使得生成商业智能仪表盘的环节从以往的数小时缩短到了几分钟。 一切员工都可以经过可视化数据内容向Amazon Q提问，使得复杂的数据剖析义务变得简易且高效。 总的来说，Amazon Q经过生成式AI的力气简化了繁琐复杂的任务义务。 而Amazon Q之所以能够在企业场景中做到如此片面且流利，离不开面前弱小模型才干的支持。 亚马逊云科技在模型层面上的输入关键经过Amazon Bedrock平台，它是亚马逊云科技正式参与大模型竞争的标志。 Bedrock平台提供了包括Claude、Mistral、Llama、Stable Diffusion、Titan系列在内的多种先进AI大模型，经过预训练、微调、知识库、RAG、模型评价等性能，能够灵敏定制大模型或运行。 亚马逊云科技全球副总裁、亚马逊云科技大中华区总裁储瑞松表示，亚马逊云科技坚信“不会有一个模型一统天下”，企业有权从多个大模型中启动选择。 Bedrock平台提供了业内最普遍的模型选择，并推出Model Evaluation性能，协助企业加快剖析和比拟不同模型，从而找到最适宜自己的模型。 此外，企业可以经过微调、RAG、提示词工程等方式定制对应大模型性能，创立私有模型，如经常使用Command R、Llama 3、Titan Text Lite等模型启动微调，或许经过继续预训练亚马逊云科技自研的Titan系列模型，以更顺应特定行业和范围。 Bedrock还支持企业导入自定义模型，提供隐私安保维护。 Amazon Q和Amazon Bedrock平台的结合，使亚马逊云科技在生成式AI范围展现出弱小的运行才干，包括构建生成式AI运行的关键、模型选择、定制、运行开发、安保保证等一系列性能。 在正式推出1年后，Bedrock为亚马逊云科技带来了清楚的增长和影响，亚马逊2024年第一季度财报显示，亚马逊云科技支出延续两季度减速增长，运营利润率创下历史新高，到达37.6%。 亚马逊云科技的算力基础设备，为其提供了关键保证。 在全球1000家独角兽企业中，超越80%都经常使用亚马逊云。 亚马逊云科技的年化支出曾经超越1000亿美元，并且还在以17%的增长率增长。 亚马逊云科技构建了服务全球245个国度和地域的基础设备树立、超越200大类的云服务，过去十余年中已服务全球数百万客户。 亚马逊云科技与英伟达的常年战略协作同伴相关，以及自研的高性能机器学习推理芯片Inferentia和训练芯片Trainium，为其提供了高性能、高性价比、低功耗的算力选择。 亚马逊云科技经过提供基于英伟达最新一代Blackwell架构GPU的Amazon EC2实例、搭载英伟达Grace Hopper超级芯片的云AI超级计算机、采用英伟达GH200 NVL32的NVIDIA DGX Cloud等产品，减速构建及运转数万亿参数大模型的性能。 亚马逊云科技在生成式AI范围展现出的弱小实力，以及与全球科技巨头的严密竞争态势，使得它成为了AIGC时代不容无视的关键力气。 未来，亚马逊云科技将继续推进各个行业真正意义上拥抱生成式AI大潮，为企业构建和运行生成式AI提供支持，以成功外乡创新与业务转型。

比黄金更贵的显卡，疯狂H100

华尔街与硅谷携手带来业界震撼：一家创业公司以23亿美元债务融资，抵押物正是全球顶尖的H100显卡。 主角是CoreWeave，其主营业务为AI私有云服务，经过搭建GPU算力数据中心，为AI创业公司和大型商业客户提供基础设备。 CoreWeave累计融资5.8亿美元，目前估值20亿美元。 成立于2016年的CoreWeave，由三位华尔街大宗商品买卖员创立。 最后业务是挖矿，少量推销GPU组建矿机中心，特别是在币圈低谷时囤积显卡，与英伟达树立了稳如泰山的协作相关。 随着业务转型，CoreWeave在2019年将矿机改形成企业级数据中心，提供AI云服务，业务逐渐兴盛。 但是，CoreWeave的融资额与账面GPU价值不婚配，为何能借到23亿美元？答案很或许在于英伟达的供货承诺，特别是对H100显卡的优先配货。 与英伟达的深沉相关，是硅谷地下的秘密，CoreWeave对英伟达的忠实与支持，使其在供应链中占据特殊位置。 英伟达在电话会议上高度评价CoreWeave，称誉其在GPU云服务范围的出色表现。 在取得23亿美金融资前，CoreWeave宣布在德克萨斯州投资16亿美元树立数据中心，仅仰仗与英伟达的相关和优先配货权，就能从银行取得资金。 这种形式相似于地产商在拿地后立刻从银行存款。 H100显卡的稀缺性令人注目，其在推理速度和训练速度上的表现区分提高了3.5倍和2.3倍，经常使用集群计算方式，训练速度可提高9倍。 相较于A100，H100单卡多少钱大约是1.5～2倍，但训练效率优化200%，单美元性能更高。 搭配英伟达最新的高速衔接系统，每美元的GPU性能或许优化4-5倍，因此遭到客户的狂热追捧。 H100的市场需求庞大，包括微软Azure、谷歌GCP、亚马逊AWS等云计算巨头，以及独立云GPU服务商如CoreWeave、Lambda、RunPod等，都对H100表现出浓重兴味。 此外，大小公司如Anthropic、Inflection、Midjourney、苹果、特斯拉、Meta等也在积极推销，旨在训练或自建大模型。 目前，H100的需求量估量在43.2万张左右，其中OpenAI需求5万张，Inflection需求2.2万张，Meta需求2.5万张（也有说法是10万张），四大云厂商每家至少需求3万张，私有云行业需求10万张，其他小模型厂商需求10万张。 英伟达2023年的出货量估量在50万张左右，到年底将缓解一卡难求的状况。 常年来看，H100的供需缺口将继续增长，估量2024年出货量将高达150万张至200万张，相比往年的50万张，增长3-4倍。 美国投行Piper Sandler预测英伟达数据中心业务的营收将超越600亿美元，对应的A+H卡出货量接近300万张。 某H100主机代工厂预测2024年出货量在450万张至500万张之间，对英伟达意味着“泼天的贫贱”。 H100的物料本钱关键包括逻辑芯片、HBM存储芯片和CoWoS封装。 逻辑芯片由台积电消费，本钱约为200美元；HBM芯片由SK海力士提供，本钱在1500美元左右；CoWoS封装本钱约为723美元。 全体物料本钱不超越3000美元。 H100的售价为美元，毛利率超越90%。 英伟达的高毛利率得益于其弱小的软件生态系统，特别是CUDA编程模型，使得GPU在通用计算范围失掉普遍运行。 此外，英伟达的研发支出在十年间继续增长，对CUDA的研发投入已超越百亿美元。 这使得英伟达不只是一家配件公司，更是一家以软件为中心的公司。 英伟达的竞争对手包括英特尔和苹果。 英特尔曾尝试在PC范围与英伟达平起平坐，但最终未能成功。 苹果推出了OpenCL，但未能与CUDA相抗衡。 在人工智能时代，英特尔将GPU整合到自己的系统芯片中，但市场格式已出现改动。 目前，英伟达在GPU范围简直无竞争对手，其护城河难以坚定。