与 信息称三星将在本月向 海力士正面交锋 样品 HBM4 SK AMD 英伟达等提供

据韩媒《亚洲日报》今天报道，三星已预备在本月底前向 AMD 和英伟达等客户提供 HBM4 样品。

据悉，三星在 HBM（高带宽内存）市场的表现不时不是很理想，特地是在 HBM3 方面推进缓慢。由于未能及时经过英伟达等公司的认证，严重影响了其营收表现。这种状况尽管在 HBM3E 规范推出后有所改善，但三星仍未能打入英伟达的支流供应链。

不过，这种状况极有或许将出现改动，三星方案运转 10 纳米级第六代（1c）DRAM 工艺，开发更精细、良率更高的 HBM4。后续三星和 SK 海力士都方案在下半年正式量产 HBM4，并从明年起片面发展竞争，改动现在 SK 海力士独家向英伟达供应 HBM3E 的现状。

随着 HBM 供应链厂商的介入，英伟达将取得明年公布的新款 AI 减速器“Rubin”的定价主导权，估量 AMD 的 MI400 也将如此。

投资高盛对此剖析道：“由于竞争加剧，估量明年 HBM 的多少钱将下跌 10%。HBM 的定价权将从制造商转移到以英伟达为代表的客户手中”。这意味着 SK 海力士垄断 80-90% 英伟达订单的局面将不复存在。

就算三星未能经过英伟达的相关认证，HBM 的多少钱也将降低。由于英伟达或许用曾经过认证的美光作为筹码，要求 SK 海力士给出一个合理的多少钱。

媒体注：HBM（高带宽内存）是三星电子、AMD 和 SK 海力士发动的一种基于 3D 堆栈技术的高性能 DRAM，适用于高存储器带宽需求的运转场所，可与高性能 GPU、网络交流及转发设备、高性能的 AI ASIC 结合经常经常使用。

---

一文读懂：GPU最强"辅佐"HBM究竟是什么？

各位ICT的小同伴们大家好呀，我是老猫。 今天我们聊聊GPU面前的HBM，这款在AI时代如此炽热的内存芯片。 那么，HBM究竟是什么？为何它能成为GPU最强的“辅佐”？接上去，我们就一同深化了解。 HBM，全称为High Bandwidth Memory，是一款新型的CPU/GPU内存芯片。 它经过将多个DDR芯片堆叠在一同后与GPU封装，成功大容量、高位宽的DDR组合阵列。 笼统地比喻为，HBM采用了“楼房设计”方式，相较于传统的“平房设计”，具有更高的性能和带宽。 HBM的创新之处在于其构建方式，从底层地基到布线都要求重新设计，包括传输信号、指令、电流的重新设计以及封装工艺的高规范要求。 HBM经过中介层紧凑加快地衔接，其特性简直与芯片集成的RAM相反，成功更多IO数量，同时清楚提高了内存的功耗效率，每瓦带宽比GDDR5高出3倍以上，功耗降低3倍多，节省了94%的外表积。 这些优势使得游戏玩家可以享遭到高效的游戏体验。 HBM的初衷是为了向GPU提供更多的内存，以满足AI和视觉等运行对庞大内存、计算和带宽的需求。 经过减小“内存墙”的影响，优化内存带宽成为了存储芯片聚焦的关键疑问。 半导体的先进封装技术为处置高性能计算运行程序的内存访问阻碍提供了时机，内存的延迟和密度都可以在封装级别失掉处置。 异构集成路途使得内存更接近处置器，包括更多内存，为现代处置器和嵌入式系统提供了处置方案，增加了组件占用空间和外部存储器要求，同时放慢了内存访问时期和速率。 HBM的开展历程展现了其技术的创新性和前瞻性。 从最后的硅通孔（TSV）技术堆叠DRAM裸片，到HBM1、HBM2、HBM2E、HBM3和HBM3E的迭代更新，每一次性更新都随同着处置速度的提高和容量的增大。 最新的HBM3E产品，其接口接口数据传输速率到达8Gbps，每秒可处置1.225TB的数据，下载一部长达163分钟的全高清电影只需不到1秒钟的时期。 随着容量的参与，HBM2E的最大容量到达16GB，三星应用10nm制程节点制造24GB容量的HBM3芯片，成功36GB的业界最大容量，比HBM3高出50%。 HBM的开展环节中，AMD和SK海力士发扬了关键作用。 从2009年起，AMD就看法到了DDR的局限性并发生了开发堆叠内存的想法，与SK海力士共同研发HBM。 2013年，经过多年的研发，AMD和SK海力士推出了HBM这项全新技术，被定为JESD235行业规范。 HBM1的任务频率约为1600 Mbps，漏极电源电压为1.2V，芯片密度为2Gb（4-hi），带宽为4096bit，远超GDDR5的512bit。 除了带宽，HBM对DRAM能耗的影响相同关键，同时减轻了散热压力，变相增加了显卡体积。 HBM的竞争格式关键集中在SK海力士、三星和美光这三家企业之间。 SK海力士在HBM行业中具有抢先的技术和市场份额，市占率为50%，紧随其后的是三星，市占率为40%，美光占据大约10%的市场份额。 在下游厂商方面，关键触及CPU/GPU制造商，如英特尔、英伟达和AMD。 HBM的封装通常由晶圆代工厂成功。 HBM未来运行前景宽广，尤其是在AI大模型、智能驾驶、AR和VR等范围。 AI主机、汽车、智能手机、平板电脑、游戏机和可穿戴设备等需求的不时增长，以及5G和物联网（IoT）等新技术的推进，都将对HBM发生继续的需求。 估量到2031年，全球高带宽存储器市场将从2022年的2.93亿美元增长到34.34亿美元，复合年增长率高达31.3%。 HBM面临的关键应战包括较高的工艺本钱和发生的少量热，这要求行业厂商在不参与物理尺寸的状况下参与存储单元数量和性能，以成功全体性能的飞跃。 同时，要求尽量减轻内存和处置器之间搬运数据的担负。 HBM的未来仍充溢应战，但其在内存市场的开展潜力不容无视。 存储巨头们将继续发力，上下游厂商相继入局，推进HBM失掉更快的开展和更多的关注。

skhynix量产工具

skhynix量产工具() SK海力士今天宣布，该公司末尾大规模消费 HBM3-拥有以后行业最佳性能 DRAM。SK去年10月，海力士宣布成功开发该行业 HBM3 DRAM，七个月后宣布量产，有望进一步安全高端公司 DRAM 市场抢先位置。随着人工智能、大数据等尖端技术的减速开展，全球关键科技企业正在探求加快处置加快增长数据量的创新方法。相较于传统 DRAM，HBM 它在数据处置速度和性能方面具有清楚优势，有望失掉业界的普遍关注，并失掉越来越多的运行。SK海力士还说，英伟达（NVIDIA）最近成功了对 SK海力士 HBM3 样品性能评价。SK海力士将向英伟达系统供应 HBM3.该系统估量将在往年第三季度末尾发货。SK往年上半年，海力士也将依照英伟达的方案参与 HBM3 产量。英伟达备受等候 H100 被以为是全球上最大、性能最强的减速器。SK海力士的 HBM3 带宽可达 819GB/s，有望提高减速计算的性能。这个带宽相当于每秒传输 163 部全高清（Full-HD）电影(每部电影约 5GB）。SK海力士总裁(事业总监)卢钟元表示，与英伟达的亲密协作使SK高端海力士 DRAM 市场取得一流的竞争力。我们的目的是经过继续、开放的协作，成为洞察和处置客户需求的处置方案提供商（Solution Provider）。”

HBM 3的好戏才刚刚末尾

在某种水平上，计算系统中独一真正关键的是其内存的变化，这就是为什么计算机和我们一样。 全球上一切的计算才干，或数据的操作或转换类型，都不像创立新数据那么关键，然后将新数据存储在内存中，这样我们就可以以某种方式高速经常使用它。 全球上一切的计算才干，或数据的操作或转换类型，都不像创立新数据那么关键，然后将新数据存储在内存中，这样我们就可以以某种方式高速经常使用它。

系统及其内存的疑问是你不能拥有一个拥有一切的内存子系统。

您可以将 3D XPoint 就像英特尔在它身上一样，成为主内存 Optane PMem DIMM 外观中显示的；PMEM 这种耐久性很有用，但你最终会失掉一个比闪存更贵、更普通的 DRAM 内存存，所以它不能完全取代任何一个，但它可以用作内存层结构的另一层——并存储在某些系统中。

经常使用普通的 DRAM，您可以为运行程序和数据树立一个大的内存空间，但它或许会变得昂贵，带宽也不是很大。

经常使用普通的 DRAM，您可以为运行程序和数据树立一个大的内存空间，但它或许会变得昂贵，带宽也不是很大。 提高内存速度 CPU 上控制器数量的参与有协助，但延迟依然相对较高（至少与 HBM 与堆叠内存相比)，带宽远低于 HBM 高。 该行业确实知道如何大批量消费 HBM，因此产量低，单位本钱高。

DDR DIMM 它们的大规模消费意味着即使带宽遭到应战，它也是低本钱的。 DDR SDRAM 内存由 JEDEC 于 1998 年指定，并于 2000 年普遍商业化，初次推出时频率低 100 MHz，最高频率为 200 MHz，每个通道的带宽在 1.6 GB/秒和 3.1 GB/秒之间。 过去几年DDR迭代，内存时钟速率，I/O 总线时钟速率和内存模块的数据速率都在参与，容量和带宽也在参与。 DDR4 主机依然普遍经常使用，高端模块的内存运转频率为 400 MHz，I/O 总线速率为 1.6 GHz，数据速率为 3.2 GT每个模块的带宽为/秒 25.6 GB/秒。 DDR5 把带宽翻倍 51.2 GB/秒，将每个记忆棒的最大容量翻倍至 512 GB。

我们的猜想是，关于许多设备来说，这种容量很大，但带宽不够。 因此，在可预见的未来，我们最终将在节点内拆分外存层次结构，并接近计算引擎。 或许，更准确地说，客户必需拥有它 DDR5 内存和 HBM3 选择内存设备，它们可以混合在系统和集群中的节点之间，其中一些或许是 Optane 或其他类型 ReRAM 或 PCM 耐久内存在适当的状况。

在有人创立内存处置单元和内存控制程序之前，跨关键内存类型和速度的编程依然是混合内存系统的一个疑问，可以为计算引擎共享提供单级内存空间。

或许，公司将经常使用一种内存来缓存另一种内存。 快而瘦的内存可以缓存肥而慢的内存，反之亦然。 因此，今天的许多混合物 CPU-GPU 系统中，GPU 内存是成功大部分处置的中央，CPU 中的 DDR 内存和 GPU 中的 HBM 内存之间的分歧性关键用于让 DDR 内存起着庞大的作用GPU 的 L4 缓存-是的，CPU 已升级为数据管家。 相反，支持 Optane DIMM 的 Xeon SP 在其中一种形式(也是最容易编程的形式)中，3D XPoint 内存被的内存被视为慢速主内存 DDR4 或 DDR5 DIMM 是一种超级Optane 加快缓存内存。

就像去年一样 7 月在引见HBM3 往年可用的内存将对系统意味着什么时刻

我们以为我们指出了这一点 HBM 各种系统都会经常使用内存，最终会变得愈加普遍，所以更廉价。 毕竟，我们并不总是经常使用中心内存，许多任务负载受内存带宽的限制，而不是计算。 这就是为什么我们置信会有更窄的要素 512 位总线和无拔出器 HBM 版本和一切权 1,024 位总线和拔出器的版本。

经常使用 HBM 内存(以及英特尔和美光创立并用于其最强熔核减速器的混合内存立方体堆叠内存)，您可以堆叠 DRAM 并将其链接到十分接近计算机引擎的十分宽的总线，并将带宽提高到许多要素，甚至直接衔接到 CPU 的 DRAM 上方看到的带宽高一个数量级。 但是这么快 HBM 内存很薄，多少钱也很贵。 它实质上更贵，但内存子系统的多少钱/性能或许更好。

与 DDR 主存相比，HBM 我们不知道本钱是多少，但我们不知道。 Rambus IP 核产品营销初级总监 Frank Ferro 知道与 GDDR 内存的本钱是多少？

“GDDR5 与 HBM2 加法器的多少钱差距约为 4 倍，”Ferro 通知The Next Platform。 要素不只仅是 DRAM 芯片也在中介和 2.5D 制形本钱。 但是 HBM 好信息是你可以失掉最高的带宽，你可以失掉十分好的功率和性能，你可以失掉十分小的面积。 你必需为这一切付出代价。 但 HPC 和超大型社区没有特别的本钱限制。 当然，他们想要更低的功率，但对他们来说，一切都与带宽有关。

Nvidia 知道 HBM3 内存的优势是上个月第一个宣布的

的“Hopper”H100 GPU 减速器

将其推向市场的公司。 在 JEDEC 在 1 最后一个月推出 HBM3 规范之后，这很受欢迎。

HBM3 出台规范的速度比 SK Hynix 去年 7 月亮在它的早期任务中暗示得更快，事先它说估量每个堆栈至少会有 5.2 Gb/秒信号传输和至少 665 GB/秒带宽。

HBM3 规范要求从三星成功每针信号的速率 HBM2E 时经常使用的 3.2 Gb/秒翻倍至 6.4 Gb/秒，HBM2E 是 HBM2 扩展方式将技术推向官方 JEDEC 除规范外，该规范还设置了信号的初始速率 2 Gb/秒。 (有早期的 HBM2E 变体经常使用 2.5 Gb/秒信号，而 SK 海力士经常使用 3.6 Gb/秒信号试图取得 HBM2E 优于三星。 ）

内存通道的数量也从 HBM2 的 8 通道参与到 HBM3 的 16 一个通道的数量翻了一番，甚至支持架构 32 假定伪通道 DRAM 在高端主机主存储器中，组之间或许会有一些交织。 HBM2 和 HBM2E 变体可以堆叠 4、8 或 12 个芯片高的 DRAM，而 HBM3 支持扩展到 16 个芯片高的 DRAM 堆叠。 HBM3 的 DRAM 容量估量在 8 Gb 到 32 Gb 之间，经常使用 8 Gb 芯片的四层堆栈 4 GB 容量，经常使用 32 Gb 芯片的 16 层层堆栈发生每个堆栈 64 GB。 据 JEDEC 称，经常使用 HBM3 基于内存的第一代设备估量将基于 16 Gb 芯片。 内存接口依然是 1,024 位宽，单个 HBM3 堆栈可驱动 819 GB/秒带宽。

所以，用六个 HBM3 通常上，一个设备可以驱动 4.8 TB/秒带宽和 384 GB 的容量。我们想知道有这么多带宽和容量 Hopper H100 GPU 减速器对本钱和散热有什么影响？.

由于计算的上梯队对内存带宽不耐烦，Rambus 曾经逾越了相对较新的 HBM3 规范最终可以在上图中称为 HBM3E。 详细来说，Rambus 可以为曾经设计好了 HBM3 引脚驱动 8.4 Gb/秒信号信号电路，为每个信号 HBM3 堆栈提供 1,075 GB/秒(是的，1..05 TB/秒)带宽。 你可以失掉六个堆栈中的六个 6.3 TB/秒内存带宽。 可定制 HBM3 内存控制器和定制 HBM3 堆栈 PHY 成功。 (顺便说一句，Rambus 在 HBM2E 信号传输速率高达 4 Gb/秒。 ）

这样的带宽实践上或许会保管 Nvidia Hopper GPU 这样的计算设备，或谷歌的未来 TPU5 机器学习矩阵引擎，或许选择你梦想中的设备来提供足够的数据。 但是，我们对瓦数和本钱感到毛骨悚然。 但相同，假设带宽是瓶颈，也许在那里投入更多的资金，冷却液体是有意义的。

我们等候有人建造这样的野兽，让我们看到它的表现，剖析它的经济性。

*免责声明：本文由作者原创。 本文的内容是作者的团体观念。 半导体行业的观察和重印只是为了传达不同的观念，这并不意味着半导体行业的观察赞同或支持这一观念。 如有异议，请咨询半导体行业启动观察。

今天是《半导体行业观察》为大家分享的第3065内容，欢迎关注。晶圆|集成电路|设备|汽车芯片|存储|台积电|AI｜封装电脑知识

HBM、HBM2、HBM3和HBM3e技术对比

HBM，即高带宽内存，是一种经过多层DRAM Die垂直堆叠的内存技术，每层Die经过TSV穿透硅通孔技术与逻辑Die相连，成功了小体积空间内8层、12层Die的封装，从而兼容了高带宽、高传输速度与小尺寸，成为了高性能AI主机GPU显存的主流处置方案。 目前，HBM曾经迭代至HBM3的扩展版本HBM3E，该版本提供高达8Gbps的传输速度和16GB内存，由SK海力士率先发布，并方案于2024年大规模量产。 HBM关键运行于AI主机场景，最新一代HBM3e搭载于英伟达2023年发布的H200。 依据Trendforce数据，2022年AI主机出货量为86万台，估量到2026年将超越200万台，年复合增速到达29%。 AI主机出货量的增长激起了HBM需求的迸发，并且随同着主机平均HBM容量的参与，预期2025年市场规模将到达约150亿美元，增速超越50%。 HBM供应关键集中在SK海力士、三星、美光三大存储原厂。 依据Trendforce数据，2023年SK海力士的市场占有率估量为53%，三星为38%，美光为9%。 HBM在工艺上的变化关键体如今CoWoS和TSV（穿透硅通孔）技术上。 HBM1最早于2014年由AMD与SK海力士共同推出，作为GDDR的竞品，提供4层die堆叠，拥有128GB/s带宽和4GB内存，清楚优于同期的GDDR5。 HBM2于2016年发布，并在2018年正式推出，其4层DRAMdie开展到如今的8层die，提供256GB/s带宽和2.4Gbps传输速度，以及8GB内存。 HBM2E于2018年发布，于2020年正式提出，其传输速度和内存等方面均有较大优化，提供3.6Gbps传输速度和16GB内存。 HBM3于2020年发布，并在2022年正式推出，其堆叠层数及控制通道数参与，提供6.4Gbps传输速度，最高可达819GB/s，以及16GB内存。 HBM3E是由SK海力士发布的HBM3的增强版，提供高达8Gbps的传输速度和24GB容量，方案于2024年大规模量产。 HBM因其高带宽、低功耗、小体积等特性，普遍运行于AI主机场景中，最早在2016年的NVP100GPU（HBM2）中落地，随后在2017年的V100（HBM2）、2020年的A100（HBM2）、以及2022年的H100（HBM2e/HBM3）中运行，最新一代HBM3e搭载于英伟达2023年发布的H200，为主机提供更加快度及更高容量。 HBM供应关键集中在SK海力士、三星、美光三大厂，其中SK海力士领跑。 这三大存储原厂关键担任DRAMDie的消费和堆叠，展开技术更新竞赛。 依据TrendForce数据，2022年SK海力士的市场占有率约为50%，三星约为40%，美光约为10%左右，2023年SK海力士的市场占有率估量为53%，三星为38%，美光为9%。 HBM在封装工艺上的变化关键体如今CoWoS（Chip on Wafer Out）和TSV（穿透硅通孔）技术上。 其中，CoWoS是将DRAMDie放在硅中介层上，经过过ChiponWafer（CoW）的封装制程衔接至底层基板上，行将芯片经过CoW的封装制程衔接至硅晶圆，再把CoW芯片与基板衔接，整分解CoWoS。 以后，HBM与GPU集成的主流处置方案为台积电的CoWoS，经过缩短互连长度成功更高速的数据传输，已普遍运行于A100、GH200等算力芯片中。 而TSV硅通孔是成功容量和带宽扩展的中心，经过在整个硅晶圆厚度上打孔，在芯片正面和反面之间构成数千个垂直互连，多层DRAMdie经过硅通孔和焊接凸点衔接，只要最底部的die能向外衔接到存储控制器，其他管芯则经过外部TSV成功互连。 以上内容来自智能计算芯全球，涵盖了HBM的详细对比、运行范围、供应厂商、封装工艺以及开展趋向等信息。