2019年5月13日，國際人工智能聯合會議（IJCAI）2019發布了一篇題為Randomized Adversarial Imitation Learning的論文。該文介紹了一種基于自動駕駛的隨機對抗性模仿學習（Randomized Adversarial Imitation Learning，RAIL）。該方法模擬了配備先進傳感器的自動駕駛汽車的協調過程，通過自由派生優化決策系統進而協調諸如智能巡航控制（SCC）和車道保持（LKS）等ADAS功能。值得一提的是，該方法在復雜的多車道高速公路和多智能體環境下，可以處理激光雷達數據并進行決策。

在多車道高速公路環境中，安全事故往往會導致道路擁堵或發生更嚴重的交通事故。現代自動駕駛中呈現的各種ADAS功能具有高度的相互依賴性，需要將其看成一個單一的綜合體，需要在保證安全的同時，形成長期有效的輔助策略顯得尤為重要。本文介紹了一種基于自動駕駛的隨機對抗性模仿學習（Randomized Adversarial Imitation Learning，RAIL）。該方法模擬了配備先進傳感器的自動駕駛汽車的協調過程，通過自由派生優化決策系統進而協調諸如智能巡航控制（SCC）和車道保持（LKS）等ADAS功能。值得一提的是，該方法在復雜的多車道高速公路和多智能體環境下，可以處理激光雷達數據并進行決策。

基于自動駕駛的隨機對抗性模仿學習（RAIL）法表明，在政策參數空間內的隨機搜索可以適用于自動駕駛政策的模仿學習。具體貢獻如下：

（1） 自駕駛機制是在模仿學習的啟發下提出的，RAIL方法可以成功地模擬專業駕駛表現；相應的靜態和線性策略可以以相近的速度完成多次換道和超車。

（2） 傳統的模擬學習方法對自動駕駛的控制結構復雜。相比而言，RAIL方法是基于無派生的隨機搜索，該方法更加簡單。

（3） RAIL方法開創了應用于自主駕駛魯棒駕駛策略的學習先河。

圖1 車輛控制系統的簡化學習層次

先來看一下傳統的自動駕駛汽車的系統層次結構（如圖1），底層的ADAS控制器直接連接到無人駕駛汽車的激光雷達傳感器。控制器確定控制車輛所需的信息，并將已經決策好的操作傳遞給機械部件。作為一個單一的集成系統，最好有多個ADAS功能同時協作來控制車輛的系統運行。

研究動機：在多車道高速公路等有限條件下，主系統通過協調ADAS功能，實現汽車的自動駕駛。由于車輛本身與周圍其他車輛、車道或者環境相互作用、互相交互，通過攝像頭或雷達等監視器，主系統并不能獲取車輛周圍完整的環境狀態，只能使用部分局部可見信息。因此，RAIL方法首先將監測代理器建模為一個（O，A，T，R， γ）數組，該數組表示一個部分可見的馬爾可夫決策過程，其中包含對自動駕駛的連續觀察和動作，還有激光雷達數據的部分觀測狀態，用O表示。

狀態空間：RAIL使用激光雷達傳感器發射的N條光束均勻地分布在視場上［wmin，wmax］獲取的數據完成矢量觀測。每個傳感器數據有最大范圍rmax，傳感器返回它遇到的第一個障礙物與車輛之間的距離，如果沒有檢測到障礙物，則返回rmax。然后，數值表示為O＝（O1，…， ON）。進而，根據距離數據，可以計算出障礙物與車輛之間的相對速度Vr ＝ （V1，…VN）。

操作空間：該策略是一個高層次的決策者，通過對高速公路的觀察來確定最優的行動。假設自動駕駛汽車利用了ADAS功能，因此，驅動策略的操作激活了每個ADAS功能。驅動策略定義在離散的動作空間。高層次決策可以分解為以下5個步驟：（1）保持當前狀態；（2）加速速度為velcur＋velacc；（3）減速速度為velcur－veldec；（4）左轉；（5）右轉。以上操作通過自動緊急制動（AEB）和自適應巡航控制（ACC）完成。

圖2 RAIL結構

RAIL主要是是增強傳統的ARS和GAIL算法。RAIL旨在培訓駕駛決策，模仿專業司機的規范操作。汽車被認為是一個代理策略πθ，在多車道高速公路上，車輛收集數據后生成小值隨機噪聲矩陣。該代理根據生成的噪聲策略與環境進行多次交互，并將結果收集為樣本軌跡。

最小二乘損失函數（3）對決策邊界兩側遠離標準軌跡的采樣軌跡進行懲罰。

該方法可以用公式（4）表示。

公式（5）表示對抗模仿學習與隨機對抗模仿學習RAIL的隨機參數空間搜索之間的關系。

圖3中實驗的目的是為了展示樣品的效率。為了評估效率，實驗考慮了平均車速、換道次數、超車次數、縱向獎勵和橫向獎勵，如圖3和圖4所示。

由表1可以看出，兩層政策的平均車速和平均超車統計量最高，分別為70．38km／h和45．04。這是因為基于蓋爾的框架和基于與環境交互的策略優化，經過訓練的策略有時可以獲得比專業人類駕駛員更高的性能。另一方面，單層策略的性能提高了90％。這是因為單層不足以正確處理高維觀測。上述，BC試圖將專業演示過程中的1步偏差誤差最小化。因此，由于訓練和測試之間的分布不匹配，單層策略表現出不理想的性能。

在圖4中，使用縱向補償來分析環境補償。縱向補償與速度成正比；因此，歸一化結果與圖3a所示的平均速度相同。為了評估行動決策的敏感性，使用了橫向補償。在變道完成之前，車輛可以根據觀察改變決策。由于換道過程中橫向獎勵是連續發生的，因此在換道過程中頻繁的換道會導致換道過程中獎勵的減少。在圖4b中，兩層策略在最后一種情況下獲得了較大的橫向獎勵。然而，兩層策略比專家策略顯示了更多的車道變化。這是因為兩層策略不太可能在操作期間更改決策。另一方面，單層策略比專家策略更能顯示頻繁的換道。因為單層策略經常更改其決策，單層策略獲得最小的橫向補償。BC表示換道次數最少。然而，經過培訓的策略比RAIL培訓的單層策略獲得了更大的回報。變道數量明顯小于單層策略；從而使訓練后的策略比單層策略獲得更大的橫向回報。

通過圖3c的實驗，模擬專家論證，測量合適的決策。為了獲得與專家相似的超車次數，仿真過程中的換道點和決策應與專家相似。在圖3c中，兩層策略相比之下，顯示了預期的性能。此外，決策點和操作與專家相似。然而，單層策略比專家策略顯示的接管數量要少。這是因為平均速度較低，并且根據觀察做出了不合適的換道決定。

綜上所述，驗證了RAIL方法提高了平均速度，減少了不必要的變道次數。這就意味著RAIL方法政策方向是正確的。實驗結果表明，兩層策略取得了與駕駛專家相似的性能。