Nature正刊封面報道自動駕駛重要進展。

證明自動駕駛算法的安全可靠，專業(yè)估算仿真里程甚至要超過千億公英里。

那么，有沒有在保證可靠性的前提下，大幅降低模擬路測時間和成本的方法呢？

【資料圖】

最新自動駕駛仿真測試方法，可以將模型迭代效率提升2000倍！

這項研究背后的團隊，來自密歇根大學(xué)的劉向宏教授的實驗室，主要作者清一色華人團隊，出自清華大學(xué)自控系。

自動駕駛仿真提效2000倍

如今很多無人車公司都青睞仿真測試提升系統(tǒng)可靠性。甚至有的創(chuàng)業(yè)公司直接打出“仿真為主，路試為輔”的旗號。

他們的理由是：仿真測試效率更高。但沒說的潛臺詞其實是：仿真測試不依賴車隊，成本低。

因為模擬測試150億英里的Waymo，至今搞不定可商用落地的無人駕駛。仿真的效率問題是尚未實現(xiàn)飛躍的巨大挑戰(zhàn)，用仿真是因為省錢，至于什么時候能拿出結(jié)果，誰也說不好。

基于此，這項最新研究提出的觀點是：

傳統(tǒng)仿真測試環(huán)境，多基于真實路測數(shù)據(jù)生成。而真實路況下的各種長尾場景其實是小概率事件，這就導(dǎo)致仿真路測里程中，有效場景比例不高，實際效果和實車路測差別不大。

而他們基于密集強化學(xué)習(xí)的深度學(xué)習(xí)網(wǎng)絡(luò)D2RL，可以將目前基于NDE（自然駕駛環(huán)境）的仿真模擬效率提升2000倍。

具體來說，在雙車道400m場景中，D2RL生成的場景直接跳過（刪除）傳統(tǒng)仿真過程中95.7%的事件和99.78%步驟，最大可能給出系統(tǒng)高價值訓(xùn)練場景。

這樣一來，算法碰撞率達成同樣的收斂標準下，NDE環(huán)境需要訓(xùn)練1.9X108次，D2RL需要9.1X104次，效率提升2100倍。

而在3車道、更長距離的實驗中，得出的效率提升效果基本都在2000倍左右。

另外，研究人員將一套開源自動駕駛算法Autoware23搭載在林肯MKZ上進行了4 公里左右的實際路測，并將實際道路場景建模，并使用D2RL進行模擬。兩條路線分別在156和117次測試后達到收斂，而與之相比的是在NDE條件下，達成相同的標準分別需要2.5×107次和2.1×107次。

同樣效率提升2000倍左右。

也就是說，使用D2RL網(wǎng)絡(luò)進行自動駕駛算法的模擬仿真訓(xùn)練，能大大縮短自動駕駛的開發(fā)周期。

在自動駕駛之外，D2RL還可以用在其他AI可靠性驗證中，如醫(yī)療機器人和航空航天系統(tǒng)。

怎么做到的？

從上面的實驗結(jié)果表格中可以看出，D2RL之所以提升效率的主要手段，就是對系統(tǒng)生成仿真場景的過程進行“提純”，盡量少生成價值不大的常規(guī)場景，保留高價值數(shù)據(jù)。

研究團隊認為，無人車仿真系統(tǒng)的效率問題，本質(zhì)上是高維空間（多維向量空間）中的一個罕見事件估計問題。

如何識別并剔除高維向量空間中非安全關(guān)鍵的點，是D2RL的核心任務(wù)。

D2RL是一種密集強化學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)，其基本思想是識別和去除多向量空間的非安全關(guān)鍵數(shù)據(jù)，并保留安全關(guān)鍵數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

由于聲稱場景中只有非常小的一部分數(shù)據(jù)是安全關(guān)鍵的，剩余數(shù)據(jù)的信息將被大大地密集化。

D2RL方法的本質(zhì)是刪除非關(guān)鍵狀態(tài)，并連接關(guān)鍵狀態(tài)來重新編輯馬爾科夫決策過程，然后只對編輯過的馬爾科夫過程進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。

因此，對于任何訓(xùn)練場景，最終的獎勵都是沿著編輯過的馬爾可夫鏈反向傳播的。

直觀地說，D2RL訓(xùn)練的對象，是仿真測試場景中的BV（非自動駕駛背景車輛），要求他們在特定的時空下執(zhí)行特定的動作，與自動駕駛車輛（AV）形成對抗性訓(xùn)練。

獎勵函數(shù)為：

其中x表示每個測試情節(jié)的變量，IA(x) 是AV碰撞事件的指標函數(shù)，后兩項則是AV目標策略和目標行為的重要性函數(shù)。

獎勵越高表示測試環(huán)境越有效。這樣的獎勵設(shè)計是通用的，也適用于其他具有高維變量的罕見事件估計問題。

為了確定學(xué)習(xí)機制，團隊進一步研究了行為策略和目標策略之間的關(guān)系。

他們發(fā)現(xiàn)AV的最佳行為政策在訓(xùn)練過程中收集的數(shù)據(jù)幾乎是與目標策略相反。這表明，如果使用傳統(tǒng)強化學(xué)習(xí)中的on-policy策略，AV的目標行為策略將偏離最佳。這可能會誤導(dǎo)訓(xùn)練過程。

為了解決這個問題，團隊設(shè)計了一個off-policy學(xué)習(xí)機制，即設(shè)計一個通用的行為策略，并在訓(xùn)練過程中保持不變，用來平衡AV的策略和行為。

最終，D2RL可以在訓(xùn)練過程中使獎勵最大化，有效地提高AV的碰撞率。

作者團隊介紹

本研究的第一作者封碩，目前在美國密歇根大學(xué)安娜堡分校做博士后。

封碩本科和博士學(xué)位都在清華大學(xué)自動化系獲得，研究方向是優(yōu)化控制、互聯(lián)和自動駕駛評估以及交通數(shù)據(jù)分析。

封碩所在的Traffic Lab實驗室，由劉向宏教授領(lǐng)導(dǎo)。

Sun Haowei，密歇根大學(xué)土木與環(huán)境工程專業(yè)在讀博士生，同樣在Traffic Lab實驗室。研究興趣是車聯(lián)網(wǎng)和自動駕駛汽車的測試和評估。Sun Haowei本科畢業(yè)于清華大學(xué)自動化系。

本文通訊作者劉向宏博士現(xiàn)任美國密歇根大學(xué)土木與環(huán)境工程系終身職正教授、密歇根大學(xué)交通研究所(UMTRI)研究教授，北京航空航天大學(xué)客座教授、兼職博士生導(dǎo)師。

他在國內(nèi)最被外界熟悉的身份是滴滴前首席科學(xué)家。

劉向宏1993年本科畢業(yè)于清華大學(xué)汽車工程系，2000年在威斯康星大學(xué)麥迪遜分校取得博士學(xué)位。

劉教授是交通工程領(lǐng)域論文引用率最高的學(xué)者之一，他發(fā)明的用于精確測量交叉路口的排隊長度和旅行時間的SMART-Signal系統(tǒng)于2012年取得美國國家專利，并已在美國明尼蘇達州和加州得到廣泛應(yīng)用。

原文鏈接：

https://www.nature.com/articles/s41586-023-05732-2

關(guān)鍵詞：