理想汽車重磅發(fā)布MindVLA，強勢重塑自動駕駛?cè)赂窬?/p>

2025 年 3 月 18 日，理想汽車自動駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在 NVIDIA GTC 2025 上，分享了理想汽車下一代自動駕駛技術(shù) MindVLA 的最新進展。賈鵬稱，MindVLA 作為機器人大模型，成功融合空間智能、語言智能和行為智能，一旦打通物理與數(shù)字世界結(jié)合的范式，將有望為眾多行業(yè)賦能。它將把汽車從單純的運輸工具，轉(zhuǎn)變?yōu)橘N心且智能的專職司機，使其能聽得懂指令、看得見環(huán)境、找得到目的地，賦予汽車類似人類的認(rèn)知與適應(yīng)能力。

理想全棧自研的 MindVLA，基于端到端 + VLM 雙系統(tǒng)架構(gòu)的實踐及對前沿技術(shù)的洞察而誕生。VLA 作為機器人大模型的新范式，賦予自動駕駛強大的 3D 空間理解、邏輯推理及行為生成能力，讓自動駕駛可感知、思考并適應(yīng)環(huán)境。MindVLA 并非簡單組合端到端模型和 VLM 模型，而是全新設(shè)計所有模塊。3D 空間編碼器借助語言模型與邏輯推理結(jié)合，輸出合理駕駛決策及 Action Token，再通過 Diffusion 優(yōu)化出最佳駕駛軌跡，且整個推理過程在車端實時運行。

MindVLA 具備六大關(guān)鍵技術(shù)，打破傳統(tǒng)自動駕駛技術(shù)框架。它采用能承載豐富語義、具有優(yōu)良 3D 幾何表達能力的 3D 高斯作為中間表征，通過海量數(shù)據(jù)自監(jiān)督訓(xùn)練提升下游任務(wù)性能。理想從零設(shè)計并訓(xùn)練適合 MindVLA 的 LLM 基座模型，采用 MoE 混合專家架構(gòu)和 Sparse Attention 實現(xiàn)模型稀疏化，在保證模型規(guī)模增長的同時，不降低端側(cè)推理效率，訓(xùn)練中加入大量 3D 數(shù)據(jù)以賦予模型 3D 空間理解與推理能力，并通過加入未來幀預(yù)測生成和稠密深度預(yù)測等任務(wù)，激發(fā)模型空間智能。為提升邏輯推理能力，訓(xùn)練 LLM 基座模型學(xué)習(xí)人類思考過程，實現(xiàn)快慢思考自主切換，通過小詞表結(jié)合投機推理及并行解碼技術(shù)，提升實時推理速度，平衡模型參數(shù)規(guī)模與推理性能。MindVLA 利用 Diffusion 解碼 Action Token 為優(yōu)化軌跡，通過自車行為生成和他車軌跡預(yù)測聯(lián)合建模提升復(fù)雜交通環(huán)境博弈能力，采用 Ordinary Differential Equation 采樣器解決 Diffusion 效率低問題，還通過建立人類偏好數(shù)據(jù)集及應(yīng)用 RLHF 微調(diào)模型采樣過程，提升安全下限?；谧匝兄亟?+ 生成云端統(tǒng)一世界模型，MindVLA 融合重建與生成模型能力構(gòu)建仿真環(huán)境，實現(xiàn)基于仿真的大規(guī)模閉環(huán)強化學(xué)習(xí)，通過工程優(yōu)化顯著提升場景重建與生成的質(zhì)量和效率。此外，通過創(chuàng)新預(yù)訓(xùn)練和后訓(xùn)練方法，MindVLA 具備卓越泛化能力和涌現(xiàn)特性，在室內(nèi)環(huán)境也展現(xiàn)出適應(yīng)性。

MindVLA 將為用戶帶來全新體驗。“聽得懂” 體現(xiàn)在用戶能通過語音指令改變車輛路線和行為，如在陌生園區(qū)找超市，對理想同學(xué)說指令，車輛就能自主找到目的地;“看得見” 指其具備強大通識能力，可識別商店招牌，還能依據(jù)用戶發(fā)送的照片找到用戶;“找得到” 意味著車輛能在地庫、園區(qū)和公共道路自主漫游找車位，不依賴地圖或?qū)Ш健？傊?，MindVLA 賦能的汽車不再只是駕駛工具，而是能與用戶溝通、理解用戶意圖的智能體，它將重新定義自動駕駛，為汽車行業(yè)及人工智能領(lǐng)域開拓新方向，有望推動多行業(yè)協(xié)同發(fā)展。