AI芯片初创公司Groq在新一轮融资中寻求60亿美元估值 (ai芯片初创企业进军资本市场)

The Information周三征引知情人士的话报道称，美国初创公司Groq已通知投资者，方案以60亿美元的投后估值融资3亿到5亿美元。

报道称，该公司正在寻求这笔资金，以实行最近与沙特签署的一项协议。

往年2月，Groq从沙特阿拉伯取得了15亿美元的承诺，以扩展其先进的芯片在该国的交付。

Groq通知投资者，沙特的合同将协助该公司往年带来约5亿美元的支出。

去年8月，Groq在由思科投资（Cisco Investments）、三星基金（Samsung Catalyst Fund）和贝莱德私募股权合伙公司（BlackRock Private Equity Partners）等领投的D轮融资中筹集了6.4亿美元，使其估值抵达28亿美元。

这家硅谷公司以消费人工智能推理芯片而知名，这种芯片可以优化速度并行动预先训练过的模型的命令。

经常使用LlamaParse、Langchain和Groq在复杂PDF上启动RAG

作者：Plaban Nayak

本文应用Gemini Pro 1.5 API成功中文翻译，讨论检索增强生成（RAG）及其运行。 RAG是经过应用大型言语模型（LLM）从非结构化数据源中智能搜索、综合、提取和规划知识的一种新颖方法。 它以增强LLM在各个范围（如自然言语了解、信息检索和决策）中的才干，特别是在应用外部知识源上下文信息方面。 构建消费级RAG面临复杂性应战，LlamaIndex于2024年2月20日推出的LlamaCloud和LlamaParse旨在提供消费级上下文增强服务，以支持LLM和RAG运行。

LlamaParse是一种专有解析服务，擅长将包括复杂表格的PDF解析为结构良好的Markdown格式。 此服务提供地下预览形式，无偿经常使用但有经常使用限制（每天1k页，每周7000页不要钱，每页0.003美元），并作为独立服务运转或集成到托管提取和检索API中。 LlamaParse关键支持带有表格的PDF，并扩展到支持更普遍的文档类型集，如、、等。

Groq是一家专注于超低延迟AI推理的AI处置方案初创公司，总部位于加利福尼亚州山景城。 Groq在AI计算性能方面取得严重进度，并为大型言语模型（LLM）提供言语处置单元（LPU），以提供出色推理性能，实理想时、低延迟体验。 在Llama-2 70B模型上，Groq LPU系统展现出超越每秒300个令牌/用户的性能基准，这是AI技术范围的一项严重打破。

Groq LPU系统以其超低延迟才干著称，适用于顺序和计算密集型GenAI言语处置义务。 其中心是第一代GroqChip，采用张量流架构，为速度、效率、准确性和本钱效益启动了优化。 Groq旨在两年外部署100万个AI推理芯片，展现其推进AI减速技术的奉献。

LPU推理引擎是一种新型端到端处置单元系统，为具有顺序组件的计算密集型运行（如AI言语运行（LLM））提供最快推理速度。 LPU设计用于克制LLM的两个瓶颈：计算密度和内存带宽，提供比GPU和CPU更大的计算才干，增加每个单词的计算时期，从而更快生成文本序列。 此外，消弭外部内存瓶颈使LPU推理引擎在LLM上提供比GPU高几个数量级的性能。

要了解更多关于架构的技术信息，请下载Groq取得ISCA奖的2020和2022论文。

Groq为在Groq LPU上运转的大型言语模型提供无偿经常使用的API端点。 Groq承诺其每百万token的多少钱将低于同类模型供应商的地下多少钱，为其他模型如Mistral和CodexLlama提供服务。

LangChain是一个开源框架，简化经常使用大型言语模型创立运行程序的环节。 它提供规范接口，与其他工具启动集成，并包括经常出现运行程序的端到端链。

以下是经常使用LangChain的代码成功：

这段代码执行以下操作：

实例化Retrieval Question Answering Chain

这段代码实例化了一个RetrievalQA对象，结合言语模型和检索器以回答疑问。 chain_type=stuff指定特定类型的链，retriever指定用于检索相关文档的检索器。

调用Retrieval QA Chain

此代码经常使用invoke方法向RetrievalQA对象提问。 疑问包括Uber Technologies, Inc.的资产负债表、运营活动发生的现金流量、权益法投资净盈余的计算方法、用于调理的现金和现金等价物总额、可赎回非控股权益余额、综合收益（盈余）等。 回答涵盖了资产负债表、现金流量、综合收益（盈余）的详细信息，展现了LlamaParse在解析复杂PDF文档并提取关键信息方面的有效性。

从成功中，LlamaParse在解析包括复杂表格的PDF文档并将其转换为结构良好的Markdown格式方面表现出色。 此格式适宜初级Markdown解析和递归检索算法。 最终，能够构建基于复杂文档的RAG，回答关于表格数据和非结构化数据的疑问。

人工智能芯片公司正派历爆炸式是怎样开展的

往年，英伟达在游戏业、数据中心、人工智能三个范围片面开花，股价暴跌，吸引了许多人的目光。

2017年见识了英伟达的股价下跌，同时人工智能产业也出现了一些纤细的变化，它末尾出如今技术界的每一个角落，启动着深入的革新。

往年，许多基于人工智能开发配件的创业公司，都失掉了巨额资助。 这其中一些公司甚至没有扎实的基础，没有成形的产品，就曾经不用为资金忧虑了。

这些创业公司注重优化人工智能的推断才干和机器培训，这两个方向对图像和言语识别等技术至关关键，这些公司就是要让这些技术更快、更高效、更适宜下一代人工智能设备。 目前，GPU已取代传统CPU来处置人工智能有关的超速义务，而这些公司以为它们有更好的点子。

在详谈这些创业公司之前，我们先来看一看下图中英伟达的股价，对这类公司的下降有一个大致心思预期。 虽然股价在往年年底有一些动摇，但全体来说英伟达股价在2017年下跌了近80%。

英伟达的成功恰恰说明着人工智能芯片公司有多大潜能，投资商们当然也留意到了这点。

我们第一次性听说这类公司取得巨额投资还是在去年12月，名不见经传的创业公司Cerebras Systems取得了来自Benchmark Capital的2500万美元投资。 在那时，人工智能芯片产业似乎仍未崭露矛头。 到了2017年，英伟达在GPU市场独占鳌头，足以说明这一产业的兴隆之势。 往年8月Forbes报道称，英伟达事先的估值已近9亿美元。

新一轮5000万美元投资。 而Graphcore和Cerebras Systems一样，目前还没有一件能拿得出手的产品。 配件创业公司要比软件公司面对更多的应战，但这家公司还是在一年内就失掉了8000万美元投资。

中国企业也唯恐在这场人工智能争夺战中落下脚步。 阿里巴巴为一家名为寒武纪科技的创业公司投资，该公司估值已达10亿美元;英特尔向地平线机器人投资1亿美元;本月，人工智能初创团队ThinkForce获投资6800万美元。

前谷歌工程师们组建的创业公司Groq，从SocialCapital取得1000万美元投资;另一家芯片公司Mythic已融资930万美元。 当然了，这两家的数字与上文中的几家公司相比，简直是小巫见大巫。

英伟达无疑是人工智能芯片范围的龙头老大，随着无人驾驶技术的开展，英伟达的支配位置只会越坐越实。 不过既然要到2018年了，我们无妨等候一下，那些创业公司说不定也无时机把英伟达拉下宝座。 假以时日，这些公司将开收回更快、耗能更低、可满足物联网需求的芯片，给予设备更高效的推断才干。 未来，设备的学习速度将更快更高效，而这样的状况将变得十分普遍。

详解AI减速器（四）：GPU、DPU、IPU、TPU…AI减速方案有有限种或许

AI配件范围，以GPU、DPU、IPU、TPU等为代表的减速器方案层出不穷，展现出有限的创新或许性。 本文聚焦于AI配件公司，梳理了在全球科技行业最抢手范围之一——AI配件范围的开展现状。 自2013年英伟达股价大幅下跌以来，AI配件行业迎来了黄金时代，许多创业公司纷繁投入数十亿美元，应战英伟达的指导位置。 众多AI配件初创公司涌现，如Cerebras、GraphCore、Wave Computing等，它们区分推出了WSE、IPU、DPU等创新配件，采用非传统方法，如晶圆级引擎和可重构处置器，旨在提供超大规模并行计算才干。 Cerebras WSE以比萨盒大小的芯片，提供超级计算机性能，与学术机构和美国国度实验室协作，提供软件堆栈和编译器工具链。 GraphCore的IPU芯片采用tiled多核设计，支持顶点编程，提供面向AI推理和训练的弱小性能。 此外，AI减速器芯片如TPU、Groq、Habana等也崭露头角，TPU由Google开发，专为AI减速，Groq的TSP处置器与TPU有相似基线特征，而Habana的Gaudi和Goya处置器则专注于数据中心训练和推理义务。 这些芯片采用脉动阵列、矢量单元和转置置换单元等技术，成功高效并行计算。 Esperanto的ET-SoC-1芯片基于RISC-V架构，集成了少量内核和SRAM，提供推理减速才干。 TensTorrent则提供旨在协助更快和顺应未来算法的处置器系列，支持数据中心和小型平台运行。 Mythic专注于动力效率和本钱更低的模拟技术，推出M1108 AMP芯片，基于模拟计算技术，提高能效。 LightMatter则大胆尝试光子计算，设计基于脉动阵列的光子AI芯片，以光速执行运算，成功高速、低功耗矩阵和矢量化计算。 AI减速器范围的竞争剧烈，不同公司采用共同技术和架构，为AI运行提供高效、灵敏的处置方案。 随着技术的不时演进，AI减速器有望在计算效率和能效方面取得严重打破，推进AI技术的加快开展和普遍运行。