本文授权转载自「胡渊鸣 Ethan」小纪有话说：
3D AI 正迎来转折——曾经需要专门工具完成的建模工作，开始被通用大模型接管。GPT-6 Astra 不仅能写代码，还能直接操作 Blender，生成 3D 模型和完整场景。
那么，当通用模型什么都开始会做，垂直的 3D 生成模型还有多大的生存空间？
Meshy.ai 创始人兼 CEO 胡渊鸣，恰好站在这场变化的第一线。胡渊鸣 2017 年从清华姚班毕业，随后到 MIT 攻读计算机图形学博士学位。博士期间他开发了 Taichi 编程语言及其编译器，用于方便用户编写 GPU 上的高性能物理仿真程序，获得了 28K GitHub stars 和 SIGGRAPH 最佳博士论文提名；2021 年博士毕业后，他带领一支国际化的团队创立了太极图形，后来看到 AI 的机会，又带公司转型做了 Meshy.ai。
他的判断是，Astra 会拿走一部分 3D 建模需求，但真正涉及精细度、可控性和专业生产流程的任务，仍然需要专门的 3D 模型。所以问题或许不是“通用模型会不会取代 3D AI”，而是：哪些工作会被通用模型接管，哪些能力反而会因为专业化而变得更重要？ 在这篇文章里，胡渊鸣进一步拆解了通用模型与专业 3D 模型的边界，以及 3D AI 创业者和研究者接下来值得关注的机会。
本文授权转载自「胡渊鸣 Ethan」
这几天硅谷这里大家聊得最多的问题就是 GPT-6 Astra 和 AI 攻破千禧年难题。毫无疑问，我们离 AGI 又近了一步。我自己也去系统性地玩了一下 Astra，顺便写篇短文讨论下 Astra 对我们这个行业的影响。
一句话总结：Astra 的 3D 建模能力和现在 Meshy 等产品在做的 AI 3D 建模能力是互补的，对 Mora 也是很好的基础设施。所以 Astra 能出来让我们很开心，看到了很多新机会。
本文主要讨论四个问题：
1、Astra 最大的突破是什么？
2、Astra 会取代 Meshy 等 3D 生成产品吗？
3、Astra 和 Meshy 在做的 Mora 有何关系？
4、我是在校做图形学、3D 方向科研的同学，Astra 来了以后我还有哪些能做的？
Astra 最大的突破是什么？
如果说 Claude Code 等 Coding Agent 正在取代所有用 CLI 可以进行的操作，Astra 等 Computer Use Agent 将会更进一步把所有在计算机图形界面（GUI）上可以进行的操作都自动化。
CLI 能够进行的操作包括软件开发、运维、文档撰写、测试、信息安全攻防等。GUI 能进行的操作更加广泛，包括餐馆订餐、填税表、使用 PowerPoint、Excel 等操作。
举例来说，写代码当然很重要，但是生活中的很多事情是必须通过图形界面解决的。在美国由于外卖行业不发达，在这里漂泊的同学往往面临一些基本的生存问题。比如，不提前规划就吃不上饭，得饿肚子，要么就选择吃「草」。我的选择是宁可饿肚子也不吃草，但是又没有时间去规划，所以如果 AI 能够帮我规划，那将从本质上提高我的生活质量。
对我来说 Astra Computer Use killer 场景是：在 Google Map 里标记湾区所有中餐馆……
其他使用场景，如填税表、DMV（车管所）预约等等，我想不用多说了，这些都是痛苦来源，Astra 能解决掉，真是太好了。
除了 Computer Use 之外，Astra 在 Coding、空间理解等基础能力方面都有很大提升。我们正处于一个激动人心的时刻。所有能想到的解放生产力的东西，最终都会被做出来。
Astra 会取代 Meshy 等 3D 生成产品吗？
简单的回答是，不会，因为 Astra 和 Meshy 等产品的能力是两种能力。下面是比较详细的分析。
由于 Astra 在 Computer Use、Coding、空间理解能力三方面的加强，使得一部分 3D 建模的场景能够直接被 Astra 解决。我们可以分解 Astra 的能力：
Computer Use 能力，让 Astra 可以操作 Blender 等软件，并且通过屏幕的截图评估现状，对下一步做出规划；
Coding 能力，让它可以直接通过写代码生成一些基本的模型，比如说楼房、汽车、飞机等工业制品；
空间理解能力，顾名思义，可以让它写的代码、对 Blender 等软件的操作更加科学、符合 3D 空间的规律。
其实对于每天在做 3D 生成相关的同学来说，这三方面的能力并不是新鲜事，技术发展反而是非常渐进的，Astra 发布之前玩 Fable 的同学其实也能感受到其中的一些能力。
对前沿比较了解的同学，估计早就把自己在做的方向根据「Astra 这样的模型迟早要出来，我的工作不能被吞噬」这样的约束规划过了。
那么，是不是有一些 3D 建模的场景已经被 Astra 吞噬了？肯定的。3D 场景生成、参数化建模、CAD（工业）零件生成、一部分低模生成（特别是建筑、机械类资产）、一部分程序化生成，基本上会被 Astra 和 Astra 的后继模型在能力上吞噬。
不过，这些任务需要的本质上是 Coding 或者 Agent 的能力，并不是 Meshy 等公司现在在做的精准还原的能力。为什么外界会觉得 Astra 能够取代现在的 3D 生成公司？主要原因就是外界有点把 a) Astra 的 Coding 和空间理解能力和 b) 3D 细节的建模和生成 混为一谈了。
换句话说，Astra 的能力和 Meshy 的能力是两种能力。Astra 擅长大体结构，所以创建相对简单的机械元件，Astra 完全没问题，给它一个图建一个简单的火箭模型也没问题。Meshy 在做的事是精准还原用户想要的输入。
OpenAI Astra 宣传片里面的火箭其实属于简单的机械元件，也不需要将输入图像精准还原，其实几个月前的模型如 Opus 4.5 和 Fable 就能将它建出来了，只是 Astra 能力更强了。
Meshy 等工具要做的是精准还原图片里的内容。Meshy 7.1 的 4K mesh 输出甚至能够还原布料上的纹理。
我如果硬用 Astra 去解决 Meshy 等产品在解决的精细模型生成问题，会怎么样？可以试一下，一定会遇到质量问题和成本问题。
输入图
两种路线取得的结果
质量问题是因为 Astra 等 VLM 很擅长理解「人脸上面有两个眼睛、一个鼻子、一张嘴巴」，也能够识别出来图片里面的角色手上拿着一把剑，但是并不擅长描绘「眼睛有多大？」「剑是被什么角度拿着？」。这些都不是 Astra 的训练目标。所以你给它一张照片，它能还原出一个人，但是往往很难辨认到底是谁。还原度和美学都会成为很大的问题，导致结果不可用。
下面是一个例子。
成本问题是因为基于 Diffusion / Flow Model 的多模态生成算法，客观上是比基于 AR 的生成训练更加高效、推理更快的方法。Astra 建一个模型需要十几分钟甚至更长，而基于 Diffusion 的生成模型只需要一分钟以内。
未来 Astra 会不会吞噬 Meshy 7.1 这样的高模？在已有的技术范式下，还看不到。就像 LLM 短期不会吞噬 Image generation 和 Video generation 一样。从学术一些的角度看，这里本质上在讨论的是，理解能力和生成能力是两码事儿。LLM、VLM 做的是理解（Understanding）；Text to Image、Image to Video 等基于 Diffusion models 的多模态生成的模型的能力是（Generation）。
目前有很多工作（Emu、Uni-1、Reve 等）在尝试进行理解生成的统一以及多模态生成的统一。对于「理解能够帮助生成」这一点大家有共识，但是反过来「生成对理解是否有帮助」大家尚未有共识。所以实际上，工业界主要采取的做法还是通过理解模型（LLM/VLM）去做 Prompt expansion，再用生成模型基于这个 prompt 去生成。主流图像生成模型、视频模型都是这么做的。
那么，为什么 Astra 没有显得冲击了图像生成和视频生成公司，但是外界会认为 Astra 对 3D 生成公司有影响？我觉得主要是两个原因：
第一，用 Coding Agent 相关能力做 Image Gen（比如 GPT Images 2 能出的 Infographics）或者 Video Gen，其实是这俩行业里面司空见惯的事情了，基于 LLM 的 Image/Video Prompt expansion，大家已经很熟悉了。但是 3D 生成发展慢 6-12 个月，所以一些 3D 行业里面的同学也会觉得 Astra 来得比较突然，因为 LLM / Agent 还不是广泛被用于驱动 3D 生成的前置系统。
第二，3D 生成确实有一些使用场景，不需要太多细节，甚至几何复杂度越低越好、越参数化越好。比如低多边形这种风格就非常容易被 Coding 来实现，一些游戏由于三角形面数的限制，也会使用较为简单的模型。Astra 已经能够生成这些模型并且在一些场景上满足用户需求。
实际上 Astra 的空间理解能力对 3D 生成是很好的助力。比如，可以用 Astra 驱动 Meshy 的 T2 模型的 API，给定一张图生成完整的场景：
Astra 和 Meshy 在做的 Mora 有何关系？
Astra 对 Mora 在需求和技术方面是很好的消息。具体来说：
1、从需求角度，我一直比较相信 2027 年底之前 AGI 能被实现，也就是 400 天以后，很多枯燥的工作都可以交给 AI。这使得解决「人类不需要工作以后从哪里获得快乐和意义感」变得无比重要。这会让 Meshy 的使命「AI for Fun」变得尤其重要。Astra 在 Computer Use 方面的进展无疑让我更相信这一点。
2、技术方面，Mora 架构设计之初的一个动机就是「Mora 的能力要随着市场上 Coding Agent 的能力水涨船高」。Astra 在Coding、空间理解方面的能力可以帮助 Mora 产出更好的 3D 关卡和机制。
我是在校做图形学、3D 方向科研的同学，
Astra 来了以后我还有哪些能做的？
其实有意思的方向还有很多，我一直觉得做图形学方向的优秀同学基本功大多是很好的，能做非常多的事情：
1、GPU/AI infra。图形学的同学对 GPU 的理解能够支撑很多有意思的研究，AI Infra 领域，特别是基于 Agent 的 Infra 开发，如 Kernel Design Agent，是很重要的话题，也是今天 Recursive Self Improvement 的重要的一环。无论智能如何演进，Infra 本身总是需要的。Hopper / Blackwell 等新的 GPU 架构能够给 graphics 和 3D 带来哪些帮助？当然，这个方向有个好处就是对算力消耗不大，消费级显卡上也能做不少事情。
2、Real-time video model 和 Neural rendering。参考 Mora 的架构设计，低延迟、高可控的 Video model 网络架构应该是什么样的？这可能是下一代图形管线。随着 AI for Fun 这件事情推进越来越深入、应用场景被不断解锁，这方面能做的事情会被不断打开，至少是一个比以前「Real-time rendering」更大的大话题。
3、Coding 与 Agent 的理解能力如何与图形学想实现的「创造一个生动的虚拟世界」结合？比如说，3D 场景生成基本上就被 Astra 解决了，但是低延迟、实时生成的开放世界如何做？如何衡量 AI 生成的游戏机制是否好玩？
4、面向 3D 打印的 3D 设计算法。3D 打印依然是一个出货量每年增长 20% 的大市场，全球有 3000 万台 3D 打印机，但是可打印的内容依然是稀缺的。如何让大众也能创作出独一无二的 3D 打印设计？
5、一些能够带来新的 insight 的基础性方向，如几何、仿真、渲染的一些底层话题。在有了强力 Agent 的时代，这里面的很多问题可能会有全新的解法，让我们对一些问题的理解更加深入。这类方向的研究很多时候不能产生直接的影响力，但是乐观来看至少是一种对能力的锻炼。从找工作角度来说，不见得是最优解。（如果你在做这些硬核的方向，锻炼了扎实的数理或者编程基本功，别的地方找不到好工作，那欢迎考虑一下 Meshy。我们很喜欢基本功扎实的同学。）有的时候，对问题有更深入的理解本身比取得问题的答案更重要，这一点上我一部分同意 Terence Tao 牵头的联名信《A Severe Misalignment of AI in Mathematics》。（但另一方面，我也尊重用 AI「暴力」搜索底层新解法的尝试，能解决问题的方法就是好方法。）
6、一点浅见。前三个问题是我们在做的 Mora 方向里面比较关键的问题，如果大家对这些问题有兴趣，也欢迎和我们联系。
另外，我没仔细思考过具身智能方向，等我和周围做这个事情的朋友聊过一圈下来再发表意见吧。这个方向的研究一定是有意义的，只是有个 timing 的问题。
总结下来，其实 Astra 并不像外界认为的那样，会对 3D 行业有啥大的影响。因为对于在 3D 行业里面的人来说，将 Fable 等模型一路看下来，Coding 能够解决 3D 简单模型的建模和参数化建模是迟早的事情，Astra 也不是突变。而对于部分古法图形学的话题来说，不管有没有 Astra，这些话题都已经不再是能做出大影响力工作的关键研究话题了。（当然，图形学社区依然可以用这些问题来培养人才……）
「智能」和「体验」需要不同的模型
最后，表达一个观点，也就是「智能和体验需要不同的模型」，这也是我们 Meshy 今天在做 AI for Fun 的原因。
AI for Work 和 AI for Fun 是两个不同的东西。前者 optimize for intelligence，后者 optimize for experience。
这就好像科学和艺术是两码事，科学主要追问「世界如何运作」，艺术主要探索「我们如何体验和表达世界」。
Astra 无疑朝着 AI for Work 这个方向又近了一步，接下来的 400 天，一定还会有更多激动人心的进展，AI for Fun 会更加重要。
Meshy 追求的「用 AI 实现快乐的无限供给」这个使命，不但没有受到 Astra 影响，还得到了需求的进一步加强、可用工具的进一步扩展。
*头图及封面图来源于ivy
