AI芯片初创公司Groq在新一轮融资中寻求60亿美元估值 (ai芯片初创企业进军资本市场)
The Information周三征引知情人士的话报道称,美国初创公司Groq已通知投资者,方案以60亿美元的投后估值融资3亿到5亿美元。
报道称,该公司正在寻求这笔资金,以实行最近与沙特签署的一项协议。
往年2月,Groq从沙特阿拉伯取得了15亿美元的承诺,以扩展其先进的芯片在该国的交付。
Groq通知投资者,沙特的合同将协助该公司往年带来约5亿美元的支出。
去年8月,Groq在由思科投资(Cisco Investments)、三星基金(Samsung Catalyst Fund)和贝莱德私募股权合伙公司(BlackRock Private Equity Partners)等领投的D轮融资中筹集了6.4亿美元,使其估值抵达28亿美元。
这家硅谷公司以消费人工智能推理芯片而知名,这种芯片可以优化速度并行动预先训练过的模型的命令。
经常使用LlamaParse、Langchain和Groq在复杂PDF上启动RAG
作者:Plaban Nayak
本文应用Gemini Pro 1.5 API成功中文翻译,讨论检索增强生成(RAG)及其运行。 RAG是经过应用大型言语模型(LLM)从非结构化数据源中智能搜索、综合、提取和规划知识的一种新颖方法。 它以增强LLM在各个范围(如自然言语了解、信息检索和决策)中的才干,特别是在应用外部知识源上下文信息方面。 构建消费级RAG面临复杂性应战,LlamaIndex于2024年2月20日推出的LlamaCloud和LlamaParse旨在提供消费级上下文增强服务,以支持LLM和RAG运行。
LlamaParse是一种专有解析服务,擅长将包括复杂表格的PDF解析为结构良好的Markdown格式。 此服务提供地下预览形式,无偿经常使用但有经常使用限制(每天1k页,每周7000页不要钱,每页0.003美元),并作为独立服务运转或集成到托管提取和检索API中。 LlamaParse关键支持带有表格的PDF,并扩展到支持更普遍的文档类型集,如、、等。
Groq是一家专注于超低延迟AI推理的AI处置方案初创公司,总部位于加利福尼亚州山景城。 Groq在AI计算性能方面取得严重进度,并为大型言语模型(LLM)提供言语处置单元(LPU),以提供出色推理性能,实理想时、低延迟体验。 在Llama-2 70B模型上,Groq LPU系统展现出超越每秒300个令牌/用户的性能基准,这是AI技术范围的一项严重打破。
Groq LPU系统以其超低延迟才干著称,适用于顺序和计算密集型GenAI言语处置义务。 其中心是第一代GroqChip,采用张量流架构,为速度、效率、准确性和本钱效益启动了优化。 Groq旨在两年外部署100万个AI推理芯片,展现其推进AI减速技术的奉献。
LPU推理引擎是一种新型端到端处置单元系统,为具有顺序组件的计算密集型运行(如AI言语运行(LLM))提供最快推理速度。 LPU设计用于克制LLM的两个瓶颈:计算密度和内存带宽,提供比GPU和CPU更大的计算才干,增加每个单词的计算时期,从而更快生成文本序列。 此外,消弭外部内存瓶颈使LPU推理引擎在LLM上提供比GPU高几个数量级的性能。
要了解更多关于架构的技术信息,请下载Groq取得ISCA奖的2020和2022论文。
Groq为在Groq LPU上运转的大型言语模型提供无偿经常使用的API端点。 Groq承诺其每百万token的多少钱将低于同类模型供应商的地下多少钱,为其他模型如Mistral和CodexLlama提供服务。
LangChain是一个开源框架,简化经常使用大型言语模型创立运行程序的环节。 它提供规范接口,与其他工具启动集成,并包括经常出现运行程序的端到端链。
以下是经常使用LangChain的代码成功:
这段代码执行以下操作:
实例化Retrieval Question Answering Chain
这段代码实例化了一个RetrievalQA对象,结合言语模型和检索器以回答疑问。 chain_type=stuff指定特定类型的链,retriever指定用于检索相关文档的检索器。
调用Retrieval QA Chain
此代码经常使用invoke方法向RetrievalQA对象提问。 疑问包括Uber Technologies, Inc.的资产负债表、运营活动发生的现金流量、权益法投资净盈余的计算方法、用于调理的现金和现金等价物总额、可赎回非控股权益余额、综合收益(盈余)等。 回答涵盖了资产负债表、现金流量、综合收益(盈余)的详细信息,展现了LlamaParse在解析复杂PDF文档并提取关键信息方面的有效性。
从成功中,LlamaParse在解析包括复杂表格的PDF文档并将其转换为结构良好的Markdown格式方面表现出色。 此格式适宜初级Markdown解析和递归检索算法。 最终,能够构建基于复杂文档的RAG,回答关于表格数据和非结构化数据的疑问。
人工智能芯片公司正派历爆炸式是怎样开展的
往年,英伟达在游戏业、数据中心、人工智能三个范围片面开花,股价暴跌,吸引了许多人的目光。
2017年见识了英伟达的股价下跌,同时人工智能产业也出现了一些纤细的变化,它末尾出如今技术界的每一个角落,启动着深入的革新。
往年,许多基于人工智能开发配件的创业公司,都失掉了巨额资助。 这其中一些公司甚至没有扎实的基础,没有成形的产品,就曾经不用为资金忧虑了。
这些创业公司注重优化人工智能的推断才干和机器培训,这两个方向对图像和言语识别等技术至关关键,这些公司就是要让这些技术更快、更高效、更适宜下一代人工智能设备。 目前,GPU已取代传统CPU来处置人工智能有关的超速义务,而这些公司以为它们有更好的点子。
在详谈这些创业公司之前,我们先来看一看下图中英伟达的股价,对这类公司的下降有一个大致心思预期。 虽然股价在往年年底有一些动摇,但全体来说英伟达股价在2017年下跌了近80%。
英伟达的成功恰恰说明着人工智能芯片公司有多大潜能,投资商们当然也留意到了这点。
我们第一次性听说这类公司取得巨额投资还是在去年12月,名不见经传的创业公司Cerebras Systems取得了来自Benchmark Capital的2500万美元投资。 在那时,人工智能芯片产业似乎仍未崭露矛头。 到了2017年,英伟达在GPU市场独占鳌头,足以说明这一产业的兴隆之势。 往年8月Forbes报道称,英伟达事先的估值已近9亿美元。
新一轮5000万美元投资。 而Graphcore和Cerebras Systems一样,目前还没有一件能拿得出手的产品。 配件创业公司要比软件公司面对更多的应战,但这家公司还是在一年内就失掉了8000万美元投资。
中国企业也唯恐在这场人工智能争夺战中落下脚步。 阿里巴巴为一家名为寒武纪科技的创业公司投资,该公司估值已达10亿美元;英特尔向地平线机器人投资1亿美元;本月,人工智能初创团队ThinkForce获投资6800万美元。
前谷歌工程师们组建的创业公司Groq,从SocialCapital取得1000万美元投资;另一家芯片公司Mythic已融资930万美元。 当然了,这两家的数字与上文中的几家公司相比,简直是小巫见大巫。
英伟达无疑是人工智能芯片范围的龙头老大,随着无人驾驶技术的开展,英伟达的支配位置只会越坐越实。 不过既然要到2018年了,我们无妨等候一下,那些创业公司说不定也无时机把英伟达拉下宝座。 假以时日,这些公司将开收回更快、耗能更低、可满足物联网需求的芯片,给予设备更高效的推断才干。 未来,设备的学习速度将更快更高效,而这样的状况将变得十分普遍。
详解AI减速器(四):GPU、DPU、IPU、TPU…AI减速方案有有限种或许
AI配件范围,以GPU、DPU、IPU、TPU等为代表的减速器方案层出不穷,展现出有限的创新或许性。 本文聚焦于AI配件公司,梳理了在全球科技行业最抢手范围之一——AI配件范围的开展现状。 自2013年英伟达股价大幅下跌以来,AI配件行业迎来了黄金时代,许多创业公司纷繁投入数十亿美元,应战英伟达的指导位置。 众多AI配件初创公司涌现,如Cerebras、GraphCore、Wave Computing等,它们区分推出了WSE、IPU、DPU等创新配件,采用非传统方法,如晶圆级引擎和可重构处置器,旨在提供超大规模并行计算才干。 Cerebras WSE以比萨盒大小的芯片,提供超级计算机性能,与学术机构和美国国度实验室协作,提供软件堆栈和编译器工具链。 GraphCore的IPU芯片采用tiled多核设计,支持顶点编程,提供面向AI推理和训练的弱小性能。 此外,AI减速器芯片如TPU、Groq、Habana等也崭露头角,TPU由Google开发,专为AI减速,Groq的TSP处置器与TPU有相似基线特征,而Habana的Gaudi和Goya处置器则专注于数据中心训练和推理义务。 这些芯片采用脉动阵列、矢量单元和转置置换单元等技术,成功高效并行计算。 Esperanto的ET-SoC-1芯片基于RISC-V架构,集成了少量内核和SRAM,提供推理减速才干。 TensTorrent则提供旨在协助更快和顺应未来算法的处置器系列,支持数据中心和小型平台运行。 Mythic专注于动力效率和本钱更低的模拟技术,推出M1108 AMP芯片,基于模拟计算技术,提高能效。 LightMatter则大胆尝试光子计算,设计基于脉动阵列的光子AI芯片,以光速执行运算,成功高速、低功耗矩阵和矢量化计算。 AI减速器范围的竞争剧烈,不同公司采用共同技术和架构,为AI运行提供高效、灵敏的处置方案。 随着技术的不时演进,AI减速器有望在计算效率和能效方面取得严重打破,推进AI技术的加快开展和普遍运行。
版权声明
本文来自网络,不代表本站立场,内容仅供娱乐参考,不能盲信。
未经许可,不得转载。