Sora仍是二维图像 媒体AGI独家 AI教母 只需三维空间智能才干成功AGI 李飞飞 (sora是谁)

媒体App 8月2日信息，日前斯坦福大学举行的Asian American Scholar Forum论坛的一场闭门会上，有着“AI教母”之称的斯坦福大学教授李飞飞对媒体App独家表示，虽然美国OpenAI公司的Sora模型可以文生视频，但就实质而言，它仍属平面二维模型，没有三维平面了解才干，只需“空间智能”才是AGI未来方向。

李飞飞是在针对媒体开创人赵何娟提出的关于“空间智能”模型和大言语模型相关的疑问讨论时，做出上述回应。她进一步解释称，如今的少数模型如GPT4o和Gemini 1.5，都依然还是言语类模型，即输入言语，输入言语，虽然也有多模态模型，但仍局限于言语，即使有视频，也是基于二维的平面图像。但未来要成功AGI的关键一环是“空间智能“，要求三维视觉模型。

她以Sora展现的“日本女性走过霓虹闪烁东京街头”的 AI 视频做例子。

“假定你心愿算法换个角度，来展现这个男性走过街头的视频，比如把摄像机放在男性面前，Sora无法做到。由于这个模型关于三维全球并没有真正的深化了解。而人类可以在脑海中设想男性面前的情形。”李飞飞表示，“人类可以了解在复杂的环境下如何活动。我们知道如何抓取，如何控制，如何造工具，如何建造城市。基本而言，空间智能是几何形态，是物体间的相关，是三维空间。空间智能是关于开释在三维空间生成（视觉地图）并推理和规划执行的才干。其运转是普遍的， 比如用于AR 和VR，用于，App的设计也要求空间智能。”

李飞飞向媒体App强调，“天然退步使生物了解三维全球，在三维空间生活、预判并互动。这种才干已有5.4亿年的漫长历史。当三叶虫第一次性性在水中看到光，它肯定在三维全球中‘导航’。假定不能在三维全球中‘导航’，它将很快成为其他生物的大餐。随着退步的推移，生物的空间智能才干增强。我们了解形态，我们了解深度。”

现年48岁的李飞飞，是著名计算机迷信家、美国国度工程院院士、美国国度医学院院士，并且在美国斯坦福大学以人为本的AI研讨所担任担任人。她于2009年指点研发的ImageNet图片数据库和视觉识别大赛，对海量图片启动精准标注和分类，推进了计算机视觉的识别才干的提高，也是促进 AI 一日千里展开的关键原因之一。去年，她发布的VoxPoser成为具身智能（Embodied AI）展开中关键技术方向。

往年7月，李飞飞兴办的AI公司 World Labs宣布成功两轮融资，投资方包括a16z（Andreessen Horowitz）等，公司最新估值已达10亿美元（约合72.6亿元人民币）。

7月底这场亚裔美国迷信家论坛闭门会上，李飞飞的演讲也让更多人了解到Word Labs和她的“空间智能”展开理念终究是什么，即要让AI真正“从看到，到做到”。

如何成功从“看到”到“做到”

所谓“空间智能”，是指人们或机器在三维空间中的感知、了解和交互才干。

这一概念最早由美国心思学家霍华德·加德纳（Howard Gardner）在多元智能通常中提出，让在大脑中构成一个外部空间全球的方式，并能够运用和操作。通常上，空间智能让人有才干以三度空间的方式来思索，使人知觉到内在和内在的影像，也能重现、转变或润饰影像，从而能够在空间中冷静地游走，为所欲为地操弄物件的位置，以出现或解读图形的讯息。

从狭义上看，空间智能不只包括对空间方位的感知才干，还包括视觉分别才干和笼统思想才干。而关于机器而言，空间智能则是指其在三维空间中的视觉数据处置才干，能够精准做出预测，并基于这些预测采取执行。这种才干使得机器能够像人类一样在复杂的三维全球中导航、操作和决策，从而跨越传统二维视觉的局限。

往年4月举行的TED演讲上，李飞飞坦言，视觉才干引发了大迸发，神经系统的退步带来了智能。“我们想要的不只仅是能看会说的 AI，我们想要的是能做的 AI。”

在李飞飞看来，空间智能是“处置 AI 技术难题的关键法宝”。

7月底这场闭门活动上，李飞飞首先回想了自10年前末尾的现代 AI 三大驱动力：算法构成的“神经网络”，即“深度学习”；现代芯片，关键是英伟达GPU芯片；以及大数据。

自2009年以来，计算机视觉范围进入爆炸式进度。机器可以迅速认出物体，和人类的表现不相上下。但这只是冰山一角。计算机数视觉不只可以识别运动的物体，跟踪移动的物体，而且可以将物体分红不同部分，甚至可以了解物体之间的相关。因此，基于图片大数据，计算机视觉范围一日千里。

李飞飞明晰地记得，大约10年前，她的在校生Andrej Karpathy介入树立图释算法研讨。他们给计算机展现一张图片，接着经过神经网络，计算机可以输入天然言语，比如说：“这是一只猫咪躺在床上。”

“我记得通知Andrej，让我们反转一下。比如给一个句子，让计算机给出一张图片。我们都笑了，觉得或许永远不会成功，或许将在很远的未来成功，”李飞飞回想说。

过去两年，生成式 AI 技术迅猛展开。特地是几个月前，OpenAI发布了视频生成算法Sora。她展现了她的在校生们在谷歌研发的相似产品，质量十分好。这个产品在Sora发布以前几个月就存在了，而且所用的GPU（图形处置器）规模比Sora少很多。疑问是，接上去AI将走向何方？

“多年来，我不时表示，‘看到’即为‘了解全球’。但是我情愿将这个概念推进一步，‘看到’不只仅是为了了解，而是为了做到。天然界发明了像我们这样有感知才干的生物，但通常上从4.5亿年前，就存在这样的生物。由于这是退步的必要条件：看到和做到是一个闭环，” 李飞飞表示。

她用她最喜欢的猫咪作为例子。

一只猫咪、一杯牛奶、还有植物在桌子上的照片。当你看到这张照片时，你脑海里其实出现一个三维视频。你看到了形态，你看到了几何。

理想上，你看到了几秒钟前曾经出现的事情，和几秒种后或许出现的事情。你看到了这张照片的三维空间。你在方案接上去做点什么。你大脑在运转，计算如何做才干援救你的地毯，特地是这只猫咪是你自己的，地毯也是你自己的。

“我把这一切称作空间智能，也就是将三维全球做成模型，就物体、地点、事情等在三维空间和时期内等启动推理。在这个例子里，我谈的是真实全球，但也可以指虚拟的全球。但是空间智能的底线是将“看到”和“做到”咨询在一同。有一天，AI将可以做到这一点，“李飞飞表示。

其次，李飞飞展现了基于多张照片重建的三维视频，然后她给出基于一张照片做的三维视频，这些技术都可用于设计中。

李飞飞表示，具身智能AI或许人形机器人，可以将把“看到”与“做到”构成闭环。

她表示，斯坦福大学的同事们和芯片巨头英伟达正在结合启动名为BEHAVIOR的研讨，将家庭活动构建一个基准的灵敏空间，从而评价各种机器人在居家环境中的表现。“我们正在研讨如何将言语模型与大型视觉模型相衔接，从而可以指挥机器人制定方案并末尾执行，“她说。她给出三个例子，一个是机器人在翻开抽屉，另一个是机器人在将手机充电线拔掉，第三个是机器人在做三明治。一切指令均经过人类的天然言语给出。

最后，她给出一个例子，以为未来属于“空间智能”全球，人类可以坐在那里，带上一顶有传感器的EEG帽子，不用张嘴说话，仅靠意念远程通知机器人：做一顿日式大餐吧。机器人收到意念后，解密意念，即可搞出全套大餐。

“当我们将‘看到’与‘做到’经过空间智能咨询在一同后，我们即可做到。”她表示。

李飞飞还表示，过去20年，她见证了AI激动人心的展开。但是，她以为AI或许AGI的关键一环就是空间智能。经过空间智能，看到全球、感知全球、了解全球并让机器人做事，从而构成良性闭环。

机器人将接纳人类吗？

李飞飞在会议上表示，今天人们关于AI未来可以做什么太过夸张。她正告，人们不要将野心勃勃的、英勇的目的与理想混为一谈，人们听到太多这样的论调。

理想上，以后AI曾经抵达拐点，特地是大言语模型。“但是，它依然是充溢错误的、有限的技术，仍要求人类深度介入其中，要求人类了解它的有限性。如今十分风险的论调是所谓的人类灭绝的风险，即AI正在成为人类的机器主宰。我以为，这对社会十分风险，此类言论将带来很多异常结果。AI的局限性没有被人类充沛了解。我们要求深思熟虑的、平衡的、没有成见的关于AI的交流和教育，“李飞飞强调说。

李飞飞以为，AI应该扎根于人类。人类发明了它，人类正在展开它，人类正在经常经常使用它，人类也应该控制它。

李飞飞表示，在斯坦福大学“以人为本的AI “研讨所，他们采取了三个看待AI的方式，包括集团、社区和社会三个层面：

关于AI关于任务的影响，李飞飞分享了她的看法。

李飞飞指出，在斯坦福大学以人为本AI研讨所内，有个数字经济实验室，由Erik Brynjolfsson教授指点。这个十分复杂的疑问有很多层面。她特地强调，“任务”与“义务”是两个不同的概念，由于通常中每集团的任务都由多项义务组成。

她以美国护士作例子。据估量，在护士8个小时的班次中，义务数以百计。因此，当人们讨论AI接纳或许取代人类的任务时，肯定分清是在取代义务还是在取代任务？

李飞飞以为，AI改动了一个任务内的多项义务，因此也会逐渐改动任务的性质。在呼叫中心场景中，新手的任务质量被AI提高了30%，但是熟练人员的任务质量并未因AI而有所优化。斯坦福大学数字经济实验室的一篇文章照应了李飞飞的观念，该文章的标题是：“AI不会取代经理的任务：经常经常使用AI的经理正在取代不经常经常使用AI的经理。”

李飞飞强调，科技会带来消费力的提高，但是消费力的提高并不会智能转化为社会的共同兴盛。她指出，历史上曾屡次出现这样的事情。

（本文首发于媒体App，作者｜Chelsea_Sun，编辑｜林志佳）