开云kaiyun.comMindVLA 赋能的车辆-开云(中国专属) 官方网站 登录入口
文 / 陈锋
剪辑 / 子夜
AI 关于遐想汽车意味着什么？
几个月前的" 2024 遐想 AI Talk "上，遐想汽车董事长兼 CEO 李想的报告是：（在愿景上）意味着将来的全部。
"电动化是上半场，智能化是下半场，但我以为，这个智能化讲的不是传统的软件智能，而是真确的东说念主工智能，这是造车往下继续的一个必经之路。汽车将从工业时间的交通用具，进化成为东说念主工智能时间的空间机器东说念主。"李想这样说说念。
在当下的新动力汽车市场中，遐想亦然在 AI 策略上布局更早、干涉更坚决的车企之一。
从 2022 年 9 月在里面将发展 AI 定为策略中枢，到 2023 年头崇拜将这一策略对外，再到客岁底" 2024 遐想 AI Talk "共享了对东说念主工智能的最新念念考和策略后果，遐想也曾跑出了更快的 AI "加快度"。
近期，围绕 AI 策略布局，以及 AI 在智能驾驶上的落地，遐想汽车又迎来了一个要道里程碑，发布了遐想汽车自动驾驶架构—— MindVLA。
图源遐想汽车官方微信公众号
遐想汽车自动驾驶技巧研发负责东说念主贾鹏暗示："就像 iPhone 4 从头界说了手机，MindVLA 也将从头界说自动驾驶"。在遐想汽车 2024 年第四季度及全年财报功绩会上，李想暗示本年策划将 MindVLA 和首款纯电 SUV 车型遐想 i8 同期发布。
MindVLA，
一个司机 Agent 究竟能作念什么？
MindVLA 到底是什么？
它是视觉 - 语言 - 行为大模子，是机器东说念主大模子的新范式，非浅近的将端到端模子和 VLM 模子结合在悉数。它扫数的模块都是全新遐想的，将空间智能、语言智能和行为智能调和在了兼并个模子里。
具体来看，3D 空间编码器通过语言模子，和逻辑推理结合在悉数后，给出合理的驾驶决策，并输出一组 Action Token（手脚词元），Action Token 指的是对周围环境和自车驾驶行为的编码，并通过 Difusion ( 扩散模子 ) 进一步优化出最好的驾驶轨迹，悉数推理历程都要发生在车端，况兼要作念到及时运行。
遐想汽车在 VLA 上的最初布局，源于其对自动驾驶以及大模子前沿技巧的横暴洞悉，也源于更早、更刚毅的 AI 策略。
"咱们以为，基座模子到一定时辰，一定会形成 VLA。"此前，李想如斯暗示。在他看来，语言模子也要看三维宇宙，也要通过语言、解析清爽三维宇宙，同期自动驾驶走向 L4，也要有极强的解析智商。
这意味着，将来在 MindVLA 模子加握下的遐想汽车，能更好地感知、念念考和妥当环境，成为一个能听懂用户言语、看懂用户需求、帮用户措置问题的"专职司机"。具体来说：
一来，用户不错通过语音领导来蜕变车辆的阶梯和行为。
比如你正在生分园区寻找超市，这时你只需要通过遐想同学对车辆说"带我去超市"，车辆将在莫得导航信息的情况下，自主漫游找到目标地；车辆在行驶的历程中，你还不错跟遐想同学说"开太快了""应该走左边这条路"，MindVLA 都能清爽并实际这些领导。
二来，基于无边的通识智商，MindVLA 能更好地识别周围环境。
比如 MindVLA 能意识星巴克、肯德基等不同的商店牌号，当你在生分所在找不到车辆时，不错拍一张隔壁环境的相片发送给车辆，领有 MindVLA 赋能的车辆粗略搜寻相片中的位置，并自动找到你。
第三，基于空间清爽和逻辑推聪慧商，搭载了 MindVLA 的车辆，"找得到"的智商也升迁了。
搭载 MindVLA 的车型不错自主地在地库、园区和环球说念路上漫游。典型的场景是"找车位"。比如用户在市集面库找不到车位时，用户只需要对着车辆说"去找个车位停好"，车辆无需依赖舆图或导航信息，并兑现自主寻找合适的车位停驻。
记忆来看，在有了 MindVLA 赋能后，每一辆车其实都不再是单纯的驾驶用具了，而是真确成了能与用户相通、清爽用户意图的智能体。
MindVLA 赋能的车辆，
为何能成为"专职司机"？
MindVLA 能成为又名听得懂、看得见、找得到的专职司机，无边的功能背后在于 MindVLA 六粗陋道技巧赋能。
MindVLA 冲突了自动驾驶技巧框架遐想的传统模式，使用了粗略承载丰富语义，且具备出色多粒度、多措施 3D 几何抒发智商的 3D 高斯这一中间表征，能帮系统更高效地感知、清爽周围环境，同期充分运用海量数据进行自监督磨练，进而极大升迁了卑鄙任务性能。
遐想从 0 驱动遐想和磨练了妥当 MindVLA 的 LLM 基座模子，接纳 MoE 搀杂大家架构，引入 Sparse Attention（寥落重主意），兑现模子寥落化，保证模子范围增长的同期，不镌汰端侧的推理着力。
基座模子磨练历程中，遐想加入渊博 3D 数据，使模子具备 3D 空间清爽和推聪慧商。为了进一步引发模子的空间智能，遐想加入了将来帧的预测生成和兴隆深度的预测等磨练任务。
LLM 基座模子取得 3D 空间智能的同期，还需要进一步升迁逻辑推聪慧商。遐想磨练 LLM 基座模子学习东说念主类的念念考历程，让快慢念念考有机结合到兼并模子中，并不错兑现自主切换快念念考和慢念念考。
为了把 NVIDIA Drive AGX 的性能施展到极致，MindVLA 选拔小词表结合投契推理，以及转换性地应用并行解码技巧，进一步升迁了及时推理的速率。至此，MindVLA 兑现了模子参数范围与及时推感性能之间的均衡。
MindVLA 运用 Diffusion 将 Action Token 解码成优化的轨迹，并通过自车行为生成和他车轨迹预测的伙同建模，升迁在复杂交通环境中的博弈智商。同期 Diffusion 不错证明外部条目，举例立场领导，动态调换生成终端。为了措置 Diffusion 模子着力低的问题，MindVLA 接纳 Ordinary Differential Equation（常微分方程）采样器，兑现了 2-3 步就能完成高质地轨迹的生成。
濒临部分长尾场景，遐想设立起东说念主类偏好数据集，况兼转换性地应用 RLHF（基于东说念主类反映的强化学习）微调模子的采样历程，最终使 MindVLA 粗略学习和对皆东说念主类驾驶行为，权贵升迁安全下限。
与此同期，基于遐想自研的重建 + 生成云霄调和宇宙模子，MindVLA 深度和会了模子的三维场景复原智商与生成模子的新视角补全，以及未见视角的预测智商，构建了接近的确的仿真环境。
源于遐想谢宇宙模子上的技巧积蓄与弥漫谋略资源的复旧，MindVLA 也兑现了基于仿真环境的大范围强化学习，即真确意旨上的从"空幻中学习"。
咱们了解到，以前一年里，遐想自动驾驶团队完成了宇宙模子渊博的工程优化，权贵升迁了场景重建与生成的质地和着力，其中一项责任，是将 3D GS 的磨练速率升迁了 7 倍以上。
遐想通过转换性的预磨练和后磨练门径，让 MindVLA 的泛化智商和炫耀特质，都更彰着了。其不仅在驾驶场景下发达优异，在室内环境也展示出了一定的妥当性和延展性。
自动驾驶，将被 MindVLA 从头界说？
从 OpenAI 到 DeepSeek，大模子推聪慧商抑遏更新与进化下，VLA 将成为车企探索智驾智商上限的新出口。
"端到端 +VLM 不错措置 L3，比如兑现 500 公里到 1000 公里一次接纳，让你在车上相对纵欲。但仅靠端到端兑现不了 L4。"李想如斯说说念。
他还提到，自动驾驶兑现 L4，必须使用 VLA。
李想的这一判断，正加快成为车企共鸣—— 2025 年以来，VLA 所呈现出来的无边感知、念念考和妥当环境的智商，正从头界说自动驾驶，也将成为车企竞逐自动驾驶的新锚点。
" VLA 模子极有可能在将来两年内改写智能驾驶市场的竞争状态。"最近，中国自动驾驶产业转换定约调研员高尚如斯暗示。
他提到，瞻望 2025 年 VLA 模子的量产落地，将鼓动城区 NOA 渗入率升迁。
高盛发布的一则自动驾驶论说也提到，到 2030 年，VLA 模子主导的端到端决策，或将占据 L4 级自动驾驶市场 60% 的份额。
连线 Insight 也珍摄到，遐想汽车以外，元帅启行、小鹏、华为等玩家也曾在加快布局。市场上也有声息以为，2025 年将是" VLA 上车元年"。
基于上述布景推敲 MindVLA，其不仅是遐想在通向 L4 级别自动驾驶路上的一次最初抢跑，亦然 AI 鼓动自动驾驶智商握续上探的一个范本。
从最中枢的用户体验来看，MindVLA 加握之下，传统的驾乘关联，正加快迎来新一轮变革。过往的智驾体验中，主驾必须监管、监督车辆行为，但当加握了 MindVLA 的车粗略真确"看得见""听得懂""找得到"，重复车自己的智驾智商抑遏上探，这带来的是东说念主与车更丝滑的交互体验、更欣慰的驾乘生计，乃至更方便的出行样式。
图源遐想汽车官网
某种进度上，这与早些年智高东说念主机规模的" iPhone 4 时辰"有一定相似之处——相通是最大放弃变革了东说念主与"机器"的交互样式和交互体验。
由此，要是说" iPhone 4 "的推出从头界说了手机行业，那如今 MindVLA 的推出，以及后续链接上车，骨子上也曾在"从头界说自动驾驶"。
从更永久视角来看，MindVLA 所呈现出来的对物理宇宙和数字宇宙结合范式的探索，也有望赋予更多行业协同发展。
( 本文头图开始于遐想汽车官网。）
