AI独宠 思索用其芯片来训练模型 英伟达不再是 苹果为亚马逊背书 (独爱宠爱)

据报道，苹果目前正借助亚马逊云计算部门AWS的定制人工自动（AI）芯片来强化其搜寻等服务，并将评价该公司最新的AI芯片能否可以用于预训练“苹果自动”（Apple intelligence）等模型。

在亚马逊周二举行的年度AWS Reinvent大会上，苹果走漏了其经常经常使用亚马逊专有芯片的状况。苹果机器学习与人工自动初级总监Benoit Dupin亲身上前论述了苹果如何运行云服务虚现技术更新。

苹果此番正面支持供应商，并支持其以此作为成功案例启动推行，实属稀有。

Dupin表示： “我们有着结实的（协作）相关，（亚马逊所提供的）基础设备既牢靠稳如泰山，又能满足全球客户的普遍需求。”

有剖析称，苹果此番在亚马逊大会上高调亮相并接收其芯片，无疑是对这家云服务行业巨头的有力支持， 由于亚马逊正与微软Azure和谷歌云在人工自动范围展开剧烈交锋。不过要求指出的是，苹果同时也在经常经常使用其他云服务提供商的服务。

Dupin表示，苹果十多年来不时在经常经常使用AWS来支持Siri、苹果地图及苹果音乐等服务。 例如，苹果曾经经常经常使用亚马逊的Interentia和Graviton芯片来优化搜寻服务。Dupin表示， 亚马逊的芯片使效率提高了40%。

与此同时， 他还表示，苹果将经常经常使用亚马逊的Trainium2芯片对其专有模型启动预训练。 这标明，相较于英特尔和AMD的x86架构CPU，亚马逊的芯片不只在推理人工自动模型方面展现出了经济高效的优点，而且在开发全新的人工自动运转方面也颇具潜力。

亚马逊周二宣布，其Trainium2芯片已片面开通租赁。

Dupin表示： “在评价Trainium2的早期阶段，我们估量经过预训练可以将效率提高50%。”

AWS首席行动官Matt Garman周二在接受采访时表示，苹果不时是该公司Trainium芯片的早期采纳者和beta测试者。

他说，苹果主动寻求与AWS协作，并表示：“你们如何助力我们成功生成式人工自动才干？我们要求基础设备来构建这一愿景。 苹果明白表达了构建‘苹果自动’的宏伟蓝图。 ”

往年早些时辰，苹果在一项研讨报告中指出，它已运行谷歌云的TPU芯片来训练其iPhone上的人工自动服务，即“苹果自动”。

持久以来，人工自动训练关键依赖于多少钱高昂的英伟达图形处置器。 但是，云服务提供商与初创企业正积极研发本钱更低的替代计划，并探求或许成功更高效处置的新途径。 苹果采纳定制芯片的做法，或许在向其他企业传递一个信号：非英伟达的训练计划相同也能奏效。

2024 年十大人工智能芯片制造公司

在探求2024年关键的人工智能芯片制造商时，我们发现了一系列顶尖公司，他们不只推进着AI技术的开展，也在企业选择芯片的决策中扮演关键角色。以下是其中的几家领军企业：

此外，还有一些新兴的AI芯片初创公司，如SambaNova Systems、Cerebras Systems和Groq，它们经过高性能配件和软件系统，正在应战行业传统。 这些初创公司，虽然年轻，但已显示出庞大的潜力和市场影响力。

在选择AI芯片时，企业要求思索配件性能、软件优化和特定运行需求。 这些供应商的崛起，预示着AI芯片市场将愈加竞争剧烈，为企业提供了多样化的选择。

亚马逊的人工智能之路

The learning machine学习机器 The online commercial empire rests on a low-key approach to artificial intelligence 这家互联网商业帝国在人工智能的开展上选择了一条低调的路 Amazon’s six-page memos are famous. Executives must write one every year, laying out their business plan. Less well known is that these missives must always answer one question in particular: how are you planning to use machine learning? Responses like “not much” are, according to Amazon managers, discouraged. 亚马逊的六页备忘录十分知名，执行官们每年必需按要求写一页，详细论述自己未来的商业方案。 但不太知名的一点是，每一封信函必需回答一个详细的疑问：你计划怎样应用机器学习？假设你的回答是“没什么可说的”，依据亚马逊控制层的说法，这种答案是不支持出现的。 Machine learning is a form of artificial intelligence (ai) which mines data for patterns that can be used to make predictions. It took root at Amazon in 1999 when Jeff Wilke joined the firm. Mr Wilke, who today is second-in-command to Jeff Bezos, set up a team of scientists to study Amazon’s internal processes in order to improve their efficiency. He wove his boffins into business units, turning a cycle of self-assessment and improvement into the default pattern. Soon the cycle involved machine- learning algorithms; the first one recommended books that customers might like. As Mr Bezos’s ambitions grew, so did the importance of automated insights. 机器学习是人工智能的一种成功途径，它关键包括特定类型的数据开掘，关键目的是对未来趋向启动预测。 1999年当杰夫·维尔克（Jeff Wilke）参与公司的时刻，这一想法就末尾落地了。 维尔克先生是亚马逊公司的第二把交椅，他组建了一团体工智能专家组，关键担任亚马逊外部任务流程的研讨，目的在于提高员工的任务效率。 他将迷信家们布置在各企事业部门，将不时循环的自我评价和提高环节固定为一个自动形式，很快这个循环就参与了算法；第一代算法可以向顾客介绍他们喜欢的图书。 随着贝佐斯先生的野心越来越收缩，这种全智能的算法介绍形式也显得越来越关键。 Yet whereas its fellow tech titans flaunt 其他科技巨头有什么可炫耀的 their ai prowess at every opportunity—Facebook’s facial-recognition software, Apple’s Siri digital assistant or Alphabet’s self- driving cars and master go player—Amazon has adopted a lower-key approach to machine learning. Yes, its Alexa competes with Siri and the company offers predictive services in its cloud. But the algorithms most critical to the company’s success are those it uses to constantly streamline its own operations. The feedback loop looks the same as in its consumer-facing ai: build a service, attract customers, gather data, and let computers learn from these data, all at a scale that human labor could not emulate. 科技巨头们抓住一切时机展现自己在AI方面的实力：脸书推出了面部识别软件，苹果拥有语音助手Siri，谷歌推出了无人驾驶和阿尔法Go。 和这些公司相比，亚马逊在机器学习上选择了一条低调的路。 Alexa（亚历克斯）是亚马逊公司推出的一项人工智能服务，它的关键竞争对手是苹果的Siri。 依托Alexa的云平台，亚马逊可以为用户提供预测服务。 这款人工智能面前的算法颇具特征，它能够不时将自己的操作流程精简处置，但这款AI服务的反应回路和其客户端AI相似：发起一项服务，吸引目的客户，搜集用户信息，让计算机学习这些数据，并且处置的数据规模是人力无法企及的。 Mr Porter’s algorithms 波特先生的算法 Consider Amazon’s fulfilment centers. These vast warehouses, more than 100 in North America and 60-odd around the world, are the beating heart of its $207bn online-shopping business. They store and dispatch the goods Amazon sells. Inside one on the outskirts of Seattle, package shuttle along conveyor belts at the speed of a moped. The noise is deafening—and the facility seemingly bereft of humans. Instead, inside a fenced-off area the size of a football field sits thousands of yellow, cuboid shelving units, each six feet (1.8 meters) tall. Amazon calls them pods. Hundreds of robot shuffle these in and out of neat rows, sliding beneath them and dragging them around. Toothpaste, books and socks are stacked in a manner that appears random to a human observer. Through the lens of the algorithms guiding the process, though, it all makes supreme sense. 我们可以了解一下亚马逊的“执行中心”。 它们其实是大型的仓库，在北美地域超越100座，还有60多座散布在全球各地。 可以说这些仓库就是这家公司强有力的心脏，它们驱动了亚马逊价值2070亿美金的在线购物贸易。 这些仓库用于存储和分配货物，亚马逊再把它们卖给顾客。 位于西雅图市郊的一座仓库里，传送带以机车的速度传送着包装用品，你很入耳到一点儿噪音，并且这些设备基本成功了全智能操作。 在围栏围住的一个区域，一块差不多足球场大小的中央寄存着一些黄色方块状货架，每一个货架的高度约为1.8米，亚马逊把它们称为“小型货仓”。 这些“货仓”们划一陈列成一排，数百个机器人穿越其中，把它们移出来又移出来。 在人类看来，这些货品，比如牙膏，书籍和袜子被随机地放置在货架上，着实让人难以了解。 但是在算法的引导下，这一环节又显得极端合理。 Human workers, or “associates” in company vernacular, man stations at gaps in the fence that surrounds this “robot field”. Some pick items out of pods brought to them by a robot; others pack items into empty pods, to be whirred away and stored. Whenever they pick or place an item, they scan the product and the relevant shelf with a bar-code reader, so that the software can keep track. 人类员工，或亚马逊公司所称的“人类同伴”，关键为机器人提供辅佐服务，他们的任务场所位于围栏间的站台处，围栏外部就是所谓的“机器人地带”。 机器人不停地搬运小型货仓，有的员工从上方取下货物，有的又把货物放回空的货仓。 但无论员工是取出还是放回，他们都会经常使用条形码仪对商品以及对应的货架启动扫描，这样软件系统就可以记载该商品的运转途径。 The man in charge of developing these algorithms is Brad Porter, Amazon’s chief roboticist. His team is Mr Wilke’s optimization squad for fulfilment centers. Mr Porter pays attention to “pod gaps”, or the amount of time that the human workers have to wait before a robot drags a pod to their station. Fewer and shorter gaps mean less down time for the human worker, faster flow of goods through the warehouse, and ultimately speedier Amazon delivery to your doorstep. Mr Porter’s team is constantly experimenting with new optimizations, but rolls them out with caution. Traffic jams in the robot field can be hellish. 布拉德·波特（Brad Porter）是这些算法面前的关键开发者和控制者，同时也是亚马逊公司的首席机器人迷信家。 他组建的团队是维尔克先生队伍的优化版本，关键服务对象是执行中心。 波特先生关键关注如何增加小型货仓间的间隙，以及如何增加人类员工在他们站台等候机器人运送货物的时期。 对人类员工而言，更少以及更小的间隙意味着更短的装卸时期，愈加迅速的货物运输流程，以及愈放慢捷的配送服务。 不时以来，波特先生的团队都在对新型优化战略启动实验，但每一次性的推行都十分小心慎重，由于“机器人地带”的交通梗塞是一个十分严重和可怕的疑问。 Amazon Web Services (aws) is the other piece of core infrastructure. It underpins Amazon’s $26bn cloud-computing business, which allows companies to host web- sites and apps without servers of their own. 亚马逊网络服务（AWS）是其中心基础设备的另一个组成部件。 它的存在维持了亚马逊价值2600亿美元的云计算业务。 应用这一网络系统，公司们可以在没有主机的基础上开设自己的网站或开发自己的运行程序。 aws’s chief use of machine learning is to forecast demand for computation. Insufficient computing power as internet users flock to a customer’s service can engender error and lost sales as users encounter error pages. “We can’t say we’re out of stock,” says Andy Jassy, aws’s boss. To ensure they never have to, Mr Jassy’s team crunches customer data. Amazon cannot see what is hosted on its servers, but it can monitor how much traffic each of its customers gets, how long the connections last and how solid they are. As in its fulfilment centres, these metadata feed machine- learning models which predict when and where aws is going to see demand. AWS在机器学习方面的关键用途是预测计算需求。 当互联网用户涌入客户端时，计算才干缺乏就会发生很多错误，比如用户进入错误页面，买卖只好自愿取消。 “我们不能说我们没有存货。 ”安迪·杰西（Andy Jassy）是AWS的老板，他表示，为了保证这一网络系统永远不出错误，他的团队搜集并剖析了少量顾客的数据。 虽然亚马逊方面无法得知主机上的内容，但它可以检测到顾客失掉了多少流量，他们与主机间的衔接继续了多长时期，以及这一衔接的质量如何。 在亚马逊公司的执行中心，机器学习模型依托这些元数据的输入继而运转起来，这些模型的性能关键是预测AWS系统在何时何地有或许发生计算需求。 One of aws’s biggest customers is Amazon itself. And one of the main things other Amazon businesses want is predictions. Demand is so high that aws has designed a new chip, called Inferentia, to handle these tasks. Mr Jassy says that Inferentia will save Amazon money on all the machine-learning tasks it needs to run in order to keep the lights on, as well as attracting customers to its cloud services. “We believe it can be at least an order-of-magnitude improvement in cost and efficiency,” he says. The algorithms which recognize voices and understand human language in Alexa will be one big beneficiary. AWS最大的客户之一就是亚马逊自己。 同时，亚马逊其他业务关于AWS的需求也集中在它的预测才干这一块。 由于计算量庞大，研讨者为AWS设计了一款新的芯片来处置这些义务，它被称为Inferentia。 杰西先生表示，这款芯片将为亚马逊在机器学习的各类义务上节省不少钱，同时又能吸引更多的客户选择其云服务。 杰西先生还表示“Inferentia将给公司的本钱效率带来数量级的优化。 ”能够辨识声响，了解人类言语的Alexa将为其自身的算法开展带来无量的优势。 The firm’s latest algorithmic venture is Amazon Go, a cashierless grocery. A bank of hundreds of cameras watches shoppers from above, converting visual data into a 3d profile which is used to track hands and arms as they handle a product. The system sees which items shoppers pick up and bills them to their Amazon account when they leave the store. Dilip Kumar, Amazon Go’s boss, stresses that the system is tracking the movements of shoppers’ bodies. It is not using facial recognition to identify them and to link them with their Amazon account, he says. Instead, this is done by swiping a bar code at the door. The system ascribes the subsequent actions of that 3d profile to the swiped Amazon account. It is an ode to machine learning, crunching data from hundreds of cameras to determine what a shopper takes. Try as he might, your correspondent could not fool the system and pilfer an item. 在算法探求方面，这家公司最新效果是亚马逊Go，它是一家不设置收银员的杂货店。 店内数百台摄像头无时无刻地从上方监控着顾客行为，并将采集到的视觉数据转换成三维用户信息，这些数据的用途是跟踪顾客在拿取货品时的手臂举措。 如此一来，这一算法系统就可以知道顾客拿了哪些商品，并在顾客离店时，把这些商品的账单智能发送到顾客的亚马逊账号中。 迪里普·库玛（Dilip Kumar）是担任亚马逊Go项目的老板，他强调这个系统的目的是追踪顾客的身体举措，并没有经常使用面部识别来辨识顾客信息以衔接其亚马逊账户。 这个系统就是机器学习的“颂歌”，它从数百台摄像头那里采集信息，从而判定顾客终究拿了什么。 也许你计划偷拿一件商品，但这些摄像头系统可不会被随便骗到。 Fit for purpose 量体裁衣 ai body-tracking is also popping up inside fulfilment centres. The firm has a pilot project, internally called the “Nike Intent Detection” system, which does for fulfilment- centre associates what Amazon Go does for shoppers: it tracks what they pick and place on shelves. The idea is to get rid of the hand-held bar-code reader. Such manual scanning takes time and is a bother for workers. Ideally they could place items on any shelf they like, while the system watches and keeps track. As ever, the goal is efficiency, maximizing the rate at which products flow. “It feels very natural to the associates,” says Mr Porter. 人工智能举措追踪在执行中心外部也有用武之地。 亚马逊公司推出了一项实验方案，在公司外部，它被称为“耐克意图探测“系统，它在执行中心的运转原理和亚马逊Go一样：追踪货物在货架上取出和放回的轨迹。 这一想法关键是为了淘汰以前的手握条形码扫描仪，由于这样的录入任务很糜费员工的时期，操作起来也十分费事。 理想状况是，在系统的监控和追踪下，员工可以把货物放在任何货架上。 亚马逊的目的总是提高效率，最大化产品的流通速率，用波特先生的话说，“我们一切人类员工都觉得这一环节十分自然。 ” Amazon’s careful approach to data collection has insulated it from some of the scrutiny that Facebook and Google have recently faced from governments. Amazon collects and processes customer data for the sole purpose of improving the experience of its customers. It does not operate in the grey area between satisfying users and customers. The two are often distinct: people get social media or search free of charge because advertisers pay Facebook and Google for access to users. For Amazon, they are mostly one and the same (though it is toying with ad sales). Where regulators do raise concerns is over Amazon’s dominance in its core business of online shopping and cloud computing. This power has been built on machine learning. It shows no signs of waning. 在数据采集方面，亚马逊选择了一天十分慎重的路途，因此，和脸书以及谷歌相比，政府相关部门关于亚马逊的审查力度要小很多，有些部分甚至可以免除。 关键要素在于，亚马逊采集和处置的用户信息仅仅用于提高用户的操作体验，在满足经常使用者和消费者的需求之间并没有什么灰色地带。 数据经常使用者和制造者（消费者）之间的差异通常很清楚：人们能够经常使用社交媒体或不要钱的搜索引擎，那是由于广告商经过向谷歌和亚马逊支付广告费，使得他们的广告可以接触到消费者。 对亚马逊而言，这两者基本上是同一团体（虽然亚马逊不是很在乎广告收益）。 但亚马逊也面临一些监管层面的担忧，比如它在线上购物和云计算这两大商业范围的垄断位置。 但这一位置确实立正是树立在弱小的机器学习基础上的，没有迹象标明，它们处于衰退之中。

英伟达新核弹B200发布，一台主机顶一个超算，万亿参数大模型30倍推理减速

AI春晚GTC开幕，英伟达发布新一代Blackwell架构，定位直指“新工业反派的引擎”。 英伟达新核弹B200发布，一台主机顶一个超算，万亿参数大模型推理减速30倍。 黑威尔架构配件产品线围绕“更大的GPU，或许更多GPU组合在一同”展开。 经过芯片与芯片间的衔接技术，构建大型AI超算集群。 B200 GPU采用4nm制程，包括2080亿晶体管，两个B200 GPU与Grace CPU结分解为GB200超级芯片。 GB200 NVL72机柜FP8精度训练算力高达720PFlops，与100个H100相比，大模型推理性能优化高达30倍，本钱和能耗降低高达25倍。 GB200 NVL72具有1.4EFlops AI推理算力和30TB高速内存，配合Quantum InfiniBand交流机和散热系统，构成新一代DGX SuperPod集群。 DGX GB200 SuperPod采用高效液冷机架规模架构，提供11.5 Exaflops算力和240TB高速内存。 GB200 NVL72支持散布式超算集群，最大包括 GPU。 英伟达DGX AI超级计算机，提供无与伦比的规模、牢靠性，具有智能控制和全栈弹性。 英伟达宣布页面，作为全球AI的入口，提供各种AI模型和运行。 NVIDIA推出AI推理微服务NIM，支持数十个AI模型优化推理。 NIM定价为“一个GPU一小时一美元”，或年付打五折，一个GPU一年4500美元。 英伟达NIM和CUDA作为两边枢纽，衔接百万开发者与上亿GPU芯片。 英伟达与亚马逊、迪士尼、三星等大型企业协作，成为协作同伴。 英伟达产品更聚焦AI，推出优化通讯瓶颈的第五代NVLink，强调推理算力，翻开AI运行部署市场。 除了AI，英伟达还宣布与苹果在Vision Pro方面的协作，规划工业元宇宙。 推出云量子计算机模拟微服务，让全球迷信家充沛应用量子计算力气。 英伟达推出Transformer八子，意味大模型技术来源和AI产业百花齐放。 英伟达在AI界的影响力、召唤力无人能及。