在自動駕駛領域，由于路測效率慢、局限性多，因此，仿真測試成為自動駕駛測試中非常重要的手段。基于仿真平臺，我們可以訓練自動駕駛汽車在面對不同路況、不同天氣、不同場景的感知、決策等能力，也能檢測自動駕駛算法。2018 年 12 月，百度阿波羅宣布與 Unity 達成合作，雙方一起研發實時仿真產品，以實現開發人員在現實模擬環境中測試自動駕駛汽車，以此來增強自動駕駛汽車的安全性和可靠性。

如今，這一項目進度如何？阿波羅為什么要使用 Unity 這樣的游戲引擎進行仿真？如何高效構建一個真實的場景，如何對虛擬喚醒中的傳感器信息進行仿真？又該如何評估仿真的效果？針對上述問題，在 Unity Shanghai 2019 現場，百度美國首席工程師榮國棟為我們深入的講解。

為什么用游戲引擎做自動駕駛仿真？

與其他仿真平臺相比，基于 Unity 等游戲引擎可以高效地產生一個全棧閉環仿真，尤其在感知模塊仿真。因為游戲引擎像建立一個賽車游戲一樣，可以重構三維環境，在三維環境里面模擬相機、激光雷達等信號，這可以大大簡化自動駕駛仿真場景制作的工作量。

另一方面，游戲引擎可以產生大量的真值（ground truth）。榮國棟表示，自動駕駛訓練大量運用了深度學習和神經網絡方法，這需要大量帶有標注的數據進行訓練。目前，大量數據標注都是采用手工標注的方式，耗時、耗力、耗錢。而基于游戲引擎進行仿真訓練過程中，可以輸出最準確的真值，包括了不同時間、天氣、路況、交通流等數據信息，這同樣可以減少工作量。

Unity 有完善的圖形渲染和交互引擎，基于此，我們可以快速搭建高質量的仿真環境。同時 Unity Asset Store 資源商店中有大量第三方插件資源，我們可以使用各種資源方便的實現不同的天氣、路況、材質等效果，加速了開發的進度。

如何高效構建一個真實的場景？

構建仿真場景的流程大概總結為：先使用高精度的數碼相機拍攝大量圖像，再通過軟件重構出三維模型。然而，在實際操作中，這個操作絕非像描述的這么簡單，三維模型非常復雜的，在操作中需要對模型進行簡化，再通過 xNormal 等軟件貼圖，最后再進行 Cleanup。

而這一系列操作之后，我們依然沒有辦法得到一個非常「真實」的仿真場景，因為現實世界中會存在各種光照條件——針對這一問題，還需要用高動態途徑渲染方式來達到逼真渲染效果。

在自動駕駛仿真中，最重要的一步是路網構建，這需要高精地圖，需要了解車道線的連接關系，還要知道紅綠燈交通信息。目前，百度阿波羅使用的工具是 VectorZeroR 公司的RoadRunner軟件。基于這個軟件，我們可以把 OpenDRIVE 地圖格式轉化成阿波羅的高精地圖格式，并展示車道連接關系，甚至實現對復雜的轉盤路況的支持。

另外，在進行三維環境生成過程中，如果對現實世界進行一對一的復現，會導致大量的工作量，因此，我們需要將真實世界做了簡化，以此提高效率。比如說有一條高速公路，大部分路段都是很簡單的路況，只有路口、匝道等區域路況比較復雜。那么，我們只需要把這些路口挑選出來，中間簡單的路況可以大大縮短，用很短路把復雜路連接起來。

如何使用構建好的場景進行基于攝像頭的仿真？

在真實場景中，相機捕捉到的畫面是會有畸變的，包括徑向畸變和切向畸變，以及 Tone mapping 曲線。然而，通過 Unity 渲染出來的場景卻沒有畸變。因此，在使用 Unity 模擬各種相機的輸出時，需要補充這一部分畸變的信息。

以徑向畸變中的桶形畸變為例，目前百度阿波羅有兩種畸變的模擬方式：

• 反向畸變：我們對輸出圖像的每一個像素用一個反向畸變的公式來進行計算，得到它在沒有畸變前的圖像位置，從而讀取該像素點的 RGB 從而實現畸變模擬；
• 前向畸變：將沒有畸變的圖像用一個稀疏網格來代表，然后將每一個網格的頂點根據畸變公式計算畸變后的位置，然后將網格進行變形，從而實現畸變效果。

值得注意的是，桶形畸變會把圖像縮小一點，所以如果我們要輸出一個 1920*1080 的圖片，我們實際上需要渲染一個稍微大一點的圖片。另外，我們可以調整參數來實現不同相機的模擬效果。

如何在虛擬場景里面對感知結果進行可視化和評估？

在評估虛擬場景里的感知結果時，可以將感知模塊識別出來的結果與 3D 仿真的真值進行評估。以障礙物比對為例，我們可以將返回包圍盒和真值進行求交，看二者公共部分的體積，公共部分越大越好。而對于車道線來說，可以通過對車道線采樣，如果采樣點在足夠近的距離有真實車道線則代表這個感知結果是正確的。

同時，在評估過程中我們可以將感知結果可視化。值得注意的是，可視化過程中，感知模塊進行在感知計算并返回的過程中需要一段時間，如果直接將感知結果顯示則會出現結果與跟屏幕上的車和環境無法對應的問題。因此，在實際操作中，我們需要用一個隊列存儲一定時間的環境、障礙物的信息，當感知結果返回后，通過時間戳找到對應真值，再將感知結果和真值進行變換。

阿波羅自動駕駛仿真的下一步是什么？

目前，阿波羅已經基于 Unity 構建了高精度的基于攝像頭的仿真并且對接阿波羅項目的感知模塊。下一步，阿波羅將為感知模塊輸出大大量有標注的數據，以供感知算法進行訓練，提高感知結果。另外，我們也將增加對更多傳感器的支持，比如激光雷達、超聲波等。同時，我們也跟百度研究院合作，采用數據驅動方式來模擬更加真實的交通流，提供更加用戶友好的工具，讓用戶更好定制傳感器位置、車流場景、白天黑夜等各種因素。

未來，百度希望這一仿真作為云服務開放給第三方的開發者來使用，并把已經標注的數據開放出來，甚至幫助定制自己的數據集。用戶可能有自己不同的相機，不同的激光雷達參數，利用我們的感知模塊可以生成定制的代表數據。

百度將深度結合 Unity 強大的游戲引擎，完成更多的原型工作，為自動駕駛實現更多的功能。