芝能科技出品

2025年，由于安全和強監管的作用，輔助駕駛行業正處于黎明前的黑暗。

面對復雜的現實路況、多樣的人類行為模式，以及傳統AI在泛化和理解能力上的瓶頸，理想汽車在《AI Talk第二季》系統性的闡述了“VLA（視覺語言行動模型）”。

從邏輯上來看，VLA不是單一的模型升級，從模仿昆蟲般的規則算法，到具備哺乳動物智能的端到端系統，再到真正具有人類駕駛認知和執行能力的“司機大模型”。

我們從技術演化的三階段入手，深入解析VLA的架構組成、訓練流程和關鍵突破，探討它如何打破智能駕駛發展的困局，成為邁向L4+自動駕駛的關鍵支點。

01

從螞蟻到人類：

VLA技術演化的三階段

階段一：規則驅動與“昆蟲智能”

回溯智能駕駛的早期階段，我們依賴于機器學習下的感知模塊，配合高精地圖、規則算法執行。系統的每一個子模塊（感知、規劃、控制）都需精密耦合，更多依賴人工設定的規則。

這一階段，智能駕駛系統更像是一只被設定程序路徑的“螞蟻”：只能在特定場景中“爬行”，缺乏對環境的真正理解和泛化能力。

◎ 感知模型參數規模小：僅幾百萬參數，處理能力嚴重受限。

◎ 對地圖強依賴：高精地圖一旦失效，系統極易出現功能崩潰。

◎ 缺乏上下文理解能力：面對突發場景（如施工繞行、人為交通指揮等）無所適從。

這正如馬戲團里受訓的昆蟲，僅能在被設定軌道內完成任務，缺乏主動決策與認知能力。

階段二：端到端與“哺乳動物智能”

2023年起，理想汽車啟動端到端（E2E）輔助駕駛研究，并在2024年開始實車部署。端到端模型將感知與控制流程一體化，通過大規模數據驅動“模仿學習”。

該階段的模型能通過模仿人類駕駛行為完成任務，具備初步泛化能力。

◎ 學習對象為人類駕駛行為：模型能夠“看圖開車”，感知場景并輸出駕駛指令。

◎ 缺乏因果推理能力：模型雖能模仿，但無法理解行為背后的因果關系。

◎ VLM（視覺語言模型）的初步引入：引導模型理解交通信號語義和少量文字信息，但由于開源VLM多為低分辨率，泛化能力不足。

端到端系統像是能騎車的猩猩：雖然能完成任務，但并不真正理解交通世界的規律與邏輯。這種“經驗驅動”的模型仍存在理解維度淺、推理能力弱、泛化能力有限等瓶頸。

階段三：VLA（司機大模型）與“人類智能”

進入VLA時代，智能駕駛系統不再是規則控制器，也不僅僅是模仿者，而是擁有“類人思維”的駕駛主體。

VLA系統具備真正意義上的三重能力融合：

◎ Vision：3D視覺 + 高清2D圖像；

◎ Language：交通語言理解 + 內部CoT推理鏈；

◎ Action：駕駛行為的計劃、決策與執行。

VLA不同于傳統VLM或E2E模型，它不僅能“看懂世界”，還能“理解”并“行動”，其智能程度首次接近人類駕駛員。

02

技術架構解析：

如何構建一個“司機大模型”？

預訓練階段的目標是打造一個視覺與語言緊密融合的VL（Vision + Language）多模態大模型，作為VLA的訓練起點。

當前版本的模型規模達到32B（320億參數）級別，并部署于云端訓練平臺。

此模型整合了豐富的視覺語料，包括3D空間感知和高清2D圖像，其圖像分辨率相比現有開源VLM提升了10倍，覆蓋了遠距識別、交通標志以及動態場景等復雜要素。

同時，語言語料涵蓋了駕駛指令、路況語義及行為規則，包含導航信息、人類指令和駕駛習慣用語。

聯合語料方面，通過將視覺語境與語言語義共同嵌入，如導航地圖結合駕駛行為的理解，三維圖像與指令邏輯結合，旨在構建一個具備物理世界理解能力的“多模態世界模型”。

完成預訓練后，32B模型被蒸餾為3.2B端側模型，以適配Orin-X或Thor-U硬件平臺，采用MoE（混合專家模型）架構實現效率與精度的平衡，確保模型能在實時40Hz幀率以上運行，滿足車規級部署要求。

進入后訓練階段，重點轉向從理解到行動的模仿學習。

如果說預訓練賦予了模型“看與聽”的能力，那么這一階段則是讓模型學會“動手”。

通過大規模人車共駕數據的學習，模型能夠模仿人類駕駛行為，學習軌跡、加速、剎車等操作。此外，生成式行為學習不僅限于回歸預測，還能夠進行軌跡生成與優化。

任務集成模型（TAM）結構則將視覺語言理解與動作生成深度融合，提高任務執行效率。

最終形成一個具備完整駕駛循環的VLA結構：從環境感知、意圖理解到駕駛行為執行，構成閉環控制系統。

模型擴展至4B參數，保留CoT（思維鏈）機制但限制在2～3步內，以兼顧推理能力和系統延遲。

強化訓練階段強調的是從駕校到真實道路的過渡，注重人類偏好與安全邊界控制。

不同于傳統的RL方法，VLA的強化訓練體系引入了RLHF（人類反饋強化學習），通過人類介入標注數據形成“人接管—AI迭代”循環，融入用戶偏好、道路安全行為習慣等軟性目標。

Diffusion預測模塊能夠在執行動作前預測未來4~8秒內的環境與軌跡變化，提供因果推理能力，為決策提供時域支持。

這一過程如同駕駛員從實習到正式上崗的過程，使VLA不僅能開車，而且能安全、穩健地應對真實世界中的突發情況。

視覺語言行動模型（VLA）體系中，最具突破性、也最貼近用戶實際駕駛需求的部分，就是“司機Agent”的構建。

所謂“司機Agent”是一個具備類人駕駛智能的“數字駕駛員”——它不僅能夠看清楚、聽明白，更關鍵的是，它能理解路況、語言指令以及駕駛意圖，并做出合理的行動決策。這是VLA三個階段演進的核心成果。

傳統的感知+規則算法，像昆蟲一樣只能被動反應、遵循簡單指令。而端到端模型雖更聰明，像是訓練有素的動物，可以模仿人類行為，卻缺乏真正的世界理解。

而VLA中的司機Agent則進一步融合了3D視覺理解、語言推理（CoT），以及實時行動策略學習能力，可以將一段自然語言“你在前方出口處靠右行駛”翻譯為精準的軌跡控制，甚至在突發場景下進行動態調整。這意味著它不僅能看清紅綠燈，還能“理解”紅綠燈的語義和策略影響。

司機Agent依托于三個關鍵訓練步驟構建而成：

◎ 首先基于云端32B模型進行視覺語言聯合建模，以理解3D現實世界與高分辨率2D圖像并建立交通語境下的“語言-視覺”嵌套結構；

◎ 其次在端側3.2B蒸餾模型上通過模仿學習實現行動建模，從人類駕駛數據中學會對視覺語義做出反應；

◎ 最后通過強化學習（尤其是RLHF）引入人類反饋，使系統不僅能學習“如何做”，更能學會“如何避免錯誤”，從而優化安全邊際與駕駛習慣，完成從模擬到實戰的過渡。

VLA的司機Agent并非只是一套規則的疊加，而是一個擁有短鏈推理能力（CoT）和多模態協同決策能力的泛化智能體。

在保持執行實時性的同時，它可以做出“如果我現在加速，5秒后前車可能會減速”的因果推演，并結合其訓練過的行為偏好，選擇更符合人類駕駛風格的方式進行操作。

這個“司機Agent”是VLA真正走向量產落地的核心標志：它不僅是模型的集合體，更是駕駛行為的數字化拷貝。

這一Agent的成熟將直接決定輔助駕駛是否能從“功能堆疊”邁向“駕駛替代”，真正成為每一位用戶可信賴的“副駕”。

小結

 VLA的意義不僅是技術，

而是產業的破局鑰匙

VLA的出現，不只是技術體系的進化，更是輔助駕駛行業從困境走向突破的關鍵。今天的輔助駕駛爭議重重：技術無法閉環、泛化能力弱、安全問題頻出。

但正因如此，VLA應運而生。不僅具備了“類人認知”，還以工程化路徑落地，在算力可控范圍內實現高度擬人化駕駛體驗。它將視覺、語言、行動三者融合，從理解世界到改變世界，邁出了自動駕駛真正“可商用、可規�；�”的第一步。

VLA并非終點，而是一個開端。正如黎明前的黑暗終將過去，VLA標志著輔助駕駛正從工程試驗品，邁向未來社會的基礎設施。

       原文標題 : 邁向人類級駕駛智能：VLA視覺語言行動模型