Sora到底懂不懂物理世界？一场头脑风暴正在AI圈大佬间展开

378 0 0

作者信息

【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微信号】 Si-Planet

文章摘要

文章主要讨论了OpenAI发布的视频生成模型Sora是否能理解物理世界的问题。Sora能够将生成视频的长度拉长到60秒，并能理解Prompt中的要求，这让人们对其是否理解物理世界产生了好奇。然而，尽管生成效果有些瑕疵，但我们可以明显感觉到，Sora似乎懂一些”物理”。

图灵奖得主Yann LeCun认为，生成视频的过程与基于世界模型的因果预测完全不同。在他看来，仅仅根据prompt生成逼真视频并不能代表一个模型理解了物理世界。他认为更理想的做法是生成视频后续内容的抽象表达，并消除与我们可能所采取动作无关的场景中的细节。

Keras之父Francois Chollet则阐述了更细致的观点。他认为，像Sora这样的视频生成模型确实嵌入了”物理模型”，但问题是：这个物理模型是否准确？它能否泛化到新的情况，即那些不仅仅是训练数据插值的情形？Chollet强调，这些问题至关重要，因为它们决定了生成图像的应用范围——是仅限于媒体生产，还是可以用作现实世界的可靠模拟。

田渊栋认为，学习物理需要主动学习或者策略强化学习。他表示，为了更好地理解事物，我们确实需要揭开Transformers的黑匣子，检查给定反向传播的训练动态，以及如何学习隐藏的特征结构，并探索如何进一步改进学习过程。

然而，也有一些人认为，将Sora认为是”数据驱动的物理引擎”太荒谬。他们认为，仅仅收集行星运动的数据并将它们喂给一个预测行星位置的模型，并不能得出该模型内部实现了广义相对论的结论。

总之，Sora到底懂不懂物理，将来会不会懂，”预测下一个token”是不是通往AGI的一个方向，这些问题还有待进一步的研究和探讨。