作者信息
【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微 信 号】 Si-Planet
文章摘要
【关 键 词】 视频生成、物理理解、OpenAI、因果预测、数据驱动
文章主要讨论了OpenAI发布的视频生成模型Sora是否能理解物理世界的问题。Sora能够将生成视频的长度拉长到60秒，并能理解Prompt中的要求，这让人们对其是否理解物理世界产生了好奇。然而，尽管生成效果有些瑕疵，但我们可以明显感觉到，Sora似乎懂一些”物理”。
图灵奖得主Yann LeCun认为，生成视频的过程与基于世界模型的因果预测完全不同。在他看来，仅仅根据prompt生成逼真视频并不能代表一个模型理解了物理世界。他认为更理想的做法是生成视频后续内容的抽象表达，并消除与我们可能所采取动作无关的场景中的细节。
Keras之父Francois Chollet则阐述了更细致的观点。他认为，像Sora这样的视频生成模型确实嵌入了”物理模型”，但问题是：这个物理模型是否准确？它能否泛化到新的情况，即那些不仅仅是训练数据插值的情形？Chollet强调，这些问题至关重要，因为它们决定了生成图像的应用范围——是仅限于媒体生产，还是可以用作现实世界的可靠模拟。
田渊栋认为，学习物理需要主动学习或者策略强化学习。他表示，为了更好地理解事物，我们确实需要揭开Transformers的黑匣子，检查给定反向传播的训练动态，以及如何学习隐藏的特征结构，并探索如何进一步改进学习过程。
然而，也有一些人认为，将Sora认为是”数据驱动的物理引擎”太荒谬。他们认为，仅仅收集行星运动的数据并将它们喂给一个预测行星位置的模型，并不能得出该模型内部实现了广义相对论的结论。
总之，Sora到底懂不懂物理，将来会不会懂，”预测下一个token”是不是通往AGI的一个方向，这些问题还有待进一步的研究和探讨。
原文信息
【原文链接】 阅读原文
【原文字数】 3033
【阅读时长】 11分钟
