只需修改關鍵詞，就能隨意生成自動駕駛仿真場景！
白天、夜晚、雨天都OK，甚至還能翻轉方向。
并且順帶解決了3D幾何信息和多攝像頭視圖，集成時保證一致性這個老大難問題。
這個自動駕駛最新仿真工具叫做MagicDrive，來自香港中文大學，香港科技大學和華為諾亞方舟實驗室。
為什么需要MagicDrive
因為能提供簡潔、統一的視圖，BEV感知最近一直是自動駕駛關注度很高的技術。
這個特點意味著還可以利用BEV感知生成仿真街道圖像，可以將復雜交通場景可視化，對于提升自動駕駛感知模型的可靠性來說也至關重要。
但由于收集到的是3D信息，轉換為2D圖像時會丟失一些3D幾何信息，比如深度、高度、物體遮擋、路面起伏程度等等。
并且也不容易做到讓生成的多視角圖像在空間上保持連續性。
因此，研究人員們打造出MagicDrive這個全新仿真框架，不僅做到了多視角圖像的空間一致性。
△注意紅框和藍框部分
同時還讓生成的仿真場景更加可控，意味著只要修改關鍵詞，就能生成想要的仿真場景。
比如可以把原本的白天，一鍵修改成野外、光照不足的場景（第二排），還能把場景鏡像變換（第三排）：
甚至在原本仿真場景中的車，可以一鍵讓這些車調頭（第二排），還能一鍵刪除一半（第三排）：
不難看出，MagicDrive生成的仿真場景，不僅能做到非常逼真，同時對圖中對象、道路、場景都能實現精準控制。
這又是怎么做到的？
MagicDrive技術思路
基于Diffusion模型，MagicDrive把輸入的3D幾何信息分為三類進行分別編碼，包括場景，包括相機姿態（位置和方向）和文本輸入，3D邊界框和道路地圖，如此就增加了對3D信息的可控性。
而在生成圖像環節，MagicDrive對場景和3D邊界框信息增加了一個cross-view attention模塊，以保證多視圖合成的一致性。
下圖可明顯看出，在生成圖像環節加入cross-view attention模塊，可以讓不同視角同一輛車顏色保持一致。
再加上一個額外編碼分支，協助道路地圖信息生成圖像，最后整體集成起來，就得到可控、一致的多視圖仿真場景。
并且，論文還對MagicDrive的圖像質量做出評估。
結果顯示，在nuScenes數據集上，MagicDrive的FID分數很低，低于BEVGen和BEVControl等仿真技術，說明MagicDrive仿真效果很高。
在可控性方面，通過BEV分割任務進行評估，MagicDrive的效果也高于BEVGen和BEVControl。
另外，MagicDrive還能生成增強數據，支持感知任務訓練，比如BEV分割和3D目標檢測。
研究團隊簡介
本文共有7位作者，分別來自香港中文大學，香港科技大學和華為諾亞方舟實驗室。
其中來自香港中文大學的高瑞元和來自香港科技大學的陳鎧對論文有同等貢獻。
高瑞元現在是港中文CURE實驗室的博士生，師從本文通訊作者之一徐強教授。
高瑞元2020年畢業于北京航空航天大學高等理工學院，專業是計算機科學與技術，畢業后曾在商湯科技和華為諾亞方舟擔任過實習生。
已經有4篇論文入選三大AI頂會，包括ECCV 2022，ICLR 2022和ICCV 2023。
陳鎧現在是港科大計算機科學系博士生，導師為楊瓞仁教授（也是本文作者之一）。
陳鎧本科就讀于復旦大學計算機科學專業，曾是上海市優秀本科生，本科期間有兩篇論文分別被IEEE Access，以及機器人技術和智能系統頂會IROS 2019錄用，畢業后也在商湯科技擔任過研究實習生。
目前已經有8篇論文入選各大AI頂會，包括ICCV 2021、ECCV 2022、ICLR 2023等，還擔任過多個AI頂會、期刊的審稿人，包括TIP、NeurIPS 2021、IJCAI 2023、CVPR 2023等。
本文的作者還包括楊瓞仁教授。
楊瓞仁教授擁有香港大學電氣工程學士學位和計算機科學碩士學位，1989年在南加州大學獲得計算機科學博士學位。曾任伊利諾伊理工大學助理教授，和港科大計算機科學與工程系（CSE）代理系主任，現在是該系的講座教授，論文被引次數超過3.58萬次。
本文還有兩位通訊作者，其中一位是港中文的徐強教授，是CURE實驗室負責人，以及CSE系副教授。
徐強教授分別在1997年和2000年獲得北京郵電大學電信工程學士和碩士學位，2005年獲得加拿大麥克馬斯特大學電子技術與計算機工程博士學位，后加入香港中文大學，發表論文超過130篇，被引次數達到7256次。
另一位通訊作者是謝恩澤。
謝恩澤目前是華為諾亞方舟實驗室，AI理論實驗室的高級研究員，擁有港大計算機科學博士學位，師從羅平教授和王文平教授。今年就有11篇論文入選三大AI頂會和一大AI頂刊，分別是ACL 2023、ICCV 2023、NeurIPS 2023，和TPAMI。
并且，謝恩澤還是當下許多流行的計算機視覺算法的開發者，包括BEVFormer、SegFormer、PVT和PolarMask，還和其他人共同開發了OpenSelfSup（mmselfsup）。
另外，本文作者Hong Lanqing和李振國同樣來自華為諾亞方舟實驗室。
雖然使用MagicDrive，可以讓自動駕駛場景想變就變，并且保證高仿真和多視圖一致性，看起來是自動駕駛仿真利器，研究人員們還是找出了一點小瑕疵，比如生成的黑夜圖像不夠黑，也無法生成沒見過的天氣。
因此，他們接下來的目標將是提高MagicDrive的跨域泛化能力。不過現在來看，可以說是瑕不掩瑜。
論文傳送門：https://arxiv.org/abs/2310.02601
項目主頁：https://gaoruiyuan.com/magicdrive/
代碼傳送門：https://github.com/cure-lab/MagicDrive
完
【智能車參考】原創內容，未經賬號授權，禁止隨意轉載。
