OpenAI还有对手吗？a16z干货：2024年AI视频产品何去何从

文 | 适道

2024 年的开年震撼同样来自 OpenAI。节后还没开工，Altman 就带着继 ChatGPT 的第二个杀手级应用 Sora 大杀四方。适道看完那条长达 60s 的演示视频后，脑中只有一句话：大家谁都别想玩了。快速回归理智，Sora 统治之下，是否还有其他机会？我们从 a16z 发布的展望—— "Why 2023 Was AI Video ’ s Breakout Year, and What to Expect in 2024" 入手，盘一盘这条赛道留给其他玩家哪些空间。

01 用好巨头 " 歼灭战 " 窗口期

OpenAI 推出 Sora 不让人意外，让人意外的是 Sora 之强大难以想象。

细数 2023 年 AI 视频赛道，有两条非常清晰的逻辑。

一是 AI 生成视频发展之迅猛。2023 年初还出现公开的文生视频模型。仅仅 12 个月后，就有 Runway、Pika、Genmo 和 Stable Video Diffusion 等数十种视频生成产品投入使用。

a16z 认为，如此巨大的进展说明我们正处于大规模变革的起步阶段——这与图像生成技术的发展存在相似之处。文本—视频模型正在不断演化进步，而图像—视频和视频—视频等分支也在蓬勃发展。

二是巨头入场只是时间问题。2024 年注定是多模态 AI 爆发之年。然而，细数 2023 年 21 个公开 AI 视频模型，大多数来自初创公司。

表面上，Google、Meta 等科技巨头如湖水般平静，但水面之下暗流涌动。巨头们没有停止发表视频生成的相关论文；同时，他们还在不声明模型发布时间的前提下对外发布演示版本的视频，比如 OpenAI 发布 Sora。

明明演示作品已经成熟，为何巨头们不着急发布呢？a16z 认为，出于法律、安全以及版权等方面的考虑，巨头很难将科研成果转化成产品，因此需要推迟产品发布，这就让新玩家获得了先发优势。

适道认为，最关键因素是 " 网络效应 " 并不重要——首发玩家不是赢家，技术领先才是赢家。有了能生成 60s 视频的 Sora，你还会执着于生成 4s 视频的 Pika 吗？

但这不代表初创公司彻底没戏。因为在该规律下，巨头们的动作不会太快，初创公司需要抓住 " 窗口期 "，尽量快速发布产品，圈一波新用户，赚一波快钱，尤其是在国内市场。

补充前阿里技术副总裁、目前正在从事 AI 架构创业的贾扬清的观点：1. 对标 OpenAI 的公司有一波被其他大厂 fomo 收购的机会。2. 从算法小厂的角度，要不就算法上媲美 OpenAI，要不就垂直领域深耕应用，要不就选择开源。（创业邦）

02 " 学霸 "Sora 强在哪里？

目前，绝大部分 AI 视频产品还未解决核心难题：可控性、时间连贯性、时长。

可控性：用文本 " 描述 " 控制画面中人物的运动轨迹。

当然，一些公司可以为用户提供视频生成前的可控性。例如，Runway 的 Motion Brush 让用户高亮图像的特定区域，并决定它们的动作。

时间连贯性：人物、物体、背景在不同帧之间保持一致，不发生扭曲。

时长：能够制作超过几秒的视频？

视频的时长和时间连贯性息息相关。许多产品都限制视频时长，因为在时长超过几秒后就无法保证任何形式的一致性。如果你看到一个较长的视频，很可能是由很多简短片段构成，而且往往需要输入几十甚至上百条指令。

而 Sora 的强大在于突破了以上难题。

1、时间连贯性——前景人来人往，但主体始终保持一致

2、时长——轻轻松松生成 60s

3、可控性——画家的手部动作非常逼真

不仅如此，Sora 还能更好地理解物理世界。养猫的人应该明白这个视频的含金量，居然模拟出了猫咪 " 踩奶 "！

Sora 能够实现如此突破，在于 OpenAI 走上了一条与众不同的道路。

假设 Sora 是一个足不出户的小朋友，他理解外部世界的方式是观看五花八门的视频和图片。

但 Sora 小朋友只能看懂简单的信息，OpenAI 就为其量身打造了一套启蒙学习课程——通过 " 视频压缩网络 " 技术，将所有 " 复杂 " 的视频和图片压缩成一个更低维度的表示形式，转换成 Sora 更容易理解的 " 儿童 " 格式。

举个不那么恰当的例子。" 视频压缩网络 " 技术就是将一部成人能看懂的电影内核转换为一集 Sora 更容易理解的 " 小猪佩奇 "。

在理解 " 学习信息 " 阶段，Sora 进一步将压缩后的信息数据分解为一块块 " 小拼图 " —— " 时空补丁 "（Spacetime Patches）。

一方面，这些 " 小拼图 " 是视觉内容的基本构建块，无论原始视频风格如何，Sora 都可以将它们处理成一致的格式，就像每一张照片都能分解为包含独特景观、颜色和纹理的 " 小拼图 "；另一方面，因为这些 " 拼图 " 足够小，且包含时空信息，Sora 能够更细致地处理视频的每一个小片段，并考虑和预测时空变化。

在生成 " 学习成果 " 阶段，Sora 要根据文本提示生成视频内容。这个过程依赖于 Sora 的大脑——扩散变换器模型（Diffusion Transformer Model）。

通过预先训练好的转换器（Transformer），Sora 能够识别每块 " 小拼图 " 的内容，并根据文本提示快速找到自己学习过的 " 小拼图 "，把它们拼在一起，生成与文本匹配的视频内容。

通过扩散模型（Diffusion Models），Sora 可以消除不必要的 " 噪音 "，将混乱的视频信息变得逐步清晰。例如，涂鸦本上有很多无意义的线条，Sora 通过文本指令，将这些无意义的线条优化为一幅带有明确主题的图画。

而此前的 AI 视频模型大多是通过循环网络、生成对抗网络、自回归 Transformer 和扩散模型等技术对视频数据建模。

结果就是 " 学霸 "Sora 明白了物理世界动态变化的原理，实现一通百通。而其他选手在学习每一道题解法后，只会照葫芦画瓢，被 " 吊打 " 也是在情理之中。

03 未来 AI 视频产品如何发展？

根据 a16z 的展望，AI 视频产品还存在一些待解决空间。

首先，高质量训练数据从何而来？

和其他内容模态相比，视频模型的训练难度更大，主要是没有那么多高质量、标签化的训练数据。语言模型通常在公共数据集（如 Common Crawl）上进行训练，而图像模型则在标签化数据集（文本 - 图像对）（如 LAION 和 ImageNet）上进行训练。

视频数据则较难获得。虽然 YouTube 和 TikTok 等平台不乏可公开观看的视频，但这些视频都没有标签，而且可能不够多样化（例如猫咪视频和网红道歉等内容在数据集中比例可能过高）。

基于此，a16z 认为视频数据的 " 圣杯 " 可能来自工作室或制作公司，它们拥有从多个角度拍摄的长视频，并附有脚本和说明。不过，他们是否愿意将这些数据授权用于训练，目前还不得而知。

适道认为，除了科技巨头，长期来看，以国外 Netflix、Disney；国内 " 爱优腾 " 为代表的行业大佬也不容忽视。这些公司积攒了数十亿条会员评价，熟知观众的习惯和需求，拥有数据壁垒和应用场景。去年 1 月，Netflix 就发布了一支 AI 动画短片《犬与少年（Dog and Boy）》。其中动画场景的绘制工作由 AI 完成。对标到国内，AI 视频赛道大概率依然是互联网大厂的天下。

其次，用例如何在平台 / 模型间细分？

a16z 认为，一种模型不能 " 胜任 " 所有用例。例如，Midjourney、Ideogram 和 DALL-E 都具有独特的风格，擅长生成不同类型的图像。预计视频模型也会有类似的动态变化。围绕这些模式开发的产品可能会在工作流程方面进一步分化，并服务于不同的终端市场。例如，动画人物头像（HeyGen）、视觉特效（Wonder Dynamics）和视频到视频（ DomoAI）。

适道认为，这些问题最终都会被 Sora 一举解决。但对于国内玩家而言，或许也是一个 " 中间商赚差价 " 的机会。

第三，谁将支配工作流程？

目前大多数产品只专注于一种类型的内容，且功能有限。我们经常可以看到这样的视频：先由 Midjourney 做图，再放进 Pika 制作动画，接着在 Topaz 上放大。然后，创作者将视频导入 Capcut 或 Kapwing 等编辑平台，并添加配乐和画外音（由 Suno 和 ElevenLabs 或其他产品生成）。

这个过程显然不够 " 智能 "，对于用户而言，非常希望出现 " 一键生成 " 式平台。

据 a16z 展望，一些新兴的生成产品将增加更多的工作流程功能，并扩展到其他类型的内容生成——可以通过训练自己的模型、利用开源模型或与其他厂商合作来实现。

其一，视频生成平台会开始添加一些功能。例如，Pika 允许用户在其网站上对视频进行放大处理。此外，目前 Sora 也可以创建完美循环视频、动画静态图像、向前或向后扩展视频等等，具备了视频编辑的能力。但编辑效果具体如何，我们还要等开放后的测试。

其二，AI 原生编辑平台已经出现，能够让用户 " 插入 " 不同模型，并将这些内容拼凑在一起。

可以预见的是，未来大批内容制作者将同时采用 AI 和人工生成内容。因此，能够 " 丝滑 " 编辑这两类内容的产品将大受欢迎。这或许是玩家们的最新机会。