機器之心報道
編輯：張倩
人經常走一條路能走熟，自動駕駛汽車也應該能。
自動駕駛汽車靠各種傳感器「看到」這個世界，然後再藉助人工神經網絡處理來自傳感器的數據。它們和人類不同，因為人類是有記憶的，一條路多走幾次就熟了，但對於使用人工神經網絡的自動駕駛汽車來說，這條路每天都是新的。這在天氣惡劣時會成為一個問題，因為這種天氣下，傳感器往往沒有那麼可靠。
為了緩解這一問題，來自康奈爾大學 Ann S. Bowers 計算機與信息科學學院和工程學院的研究人員在 CVPR 2022 上發表了三篇研究論文，其核心思想是為自動駕駛汽車創造「記憶」，並在後續的行駛中使用這些記憶。
論文 1 標題為「HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception」，一作是博士生游宇榕（Yurong You），senior author 是康奈爾大學 Bowers CIS 計算機科學教授 Kilian Weinberger。
論文鏈接：https://arxiv.org/pdf/2203.11405.pdf
Weinberger 教授認為，「上述問題的核心在於，我們能否從反覆的經歷中學習？例如，汽車的激光掃描儀第一次從遠處看到形狀奇怪的樹時，可能會把它誤認為行人，但一旦距離足夠近，物體類別就變得清晰起來。因此，當你第二次開車經過同一棵樹時，即使是在霧中或雪中，你也希望汽車已經學會正確識別這棵樹。」
「事實上，你很少有機會開上一條近期完全沒人開過的路，總有人最近會經過這裡，所以，收集經驗並加以利用看起來是再正常不過的事。」論文合著者 Katie Luo 說到。
在博士生 Carlos Diaz-Ruiz 的帶領下，該小組在 18 個月的時間裡駕駛一輛配置了激光雷達傳感器的汽車在伊薩卡及其周圍的 15 公里環路上重複行駛了 40 次，收集了沿途的環境（高速公路、城市、校園）、天氣（晴天、雨天、下雪天）和一天中不同時段的信息。
這些信息組成了一個名為「Ithaca365」的數據集，其詳細信息可在論文 2《Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions》中找到。
論文鏈接：https://openaccess.thecvf.com/content/CVPR2022/papers/Diaz-Ruiz_Ithaca365_Dataset_and_Driving_Perception_Under_Repeated_and_Challenging_Weather_CVPR_2022_paper.pdf
「這項研究直面自動駕駛汽車的一項關鍵挑戰——惡劣的天氣條件，」Ithaca365 的合著者 Diaz-Ruiz 說，「如果路面被積雪覆蓋，人類可以依靠記憶，但人工神經網絡無法依靠記憶，這就使其陷入劣勢。」
論文 1 標題中的「HINDSIGHT」是一種在汽車經過物體時使用神經網絡計算物體描述符的方法。然後，它會壓縮這些被稱為「SQuaSH (Spatial-Quantized Sparse History) 特徵」的描述，並將其存儲在虛擬地圖上，類似於存儲於人腦中的「記憶」。
下次穿越同一位置時，自動駕駛汽車可以查詢沿途每個激光雷達點的本地 SQuaSH 數據庫，並「回憶起」上次學習的內容。該數據庫不斷更新並在車輛間共享，從而豐富了可用於執行識別的信息。
「此信息可作為特徵添加到任何基於激光雷達的 3D 目標檢測器中，」游宇榕說，「檢測器和 SQuaSH 表示可以在沒有任何額外監督或人工注釋的情況下被聯合訓練，但這需要花費不少時間和精力。」
雖然 HINDSIGHT 仍然假設人工神經網絡已經經過訓練，可以檢測物體，並增加了創建記憶的能力，但論文 3《Learning to Detect Mobile Objects from LiDAR Scans Without Labels》又往前走了一步，提出了一種名為 MODEST（Mobile Object Detection with Ephemerality and Self-Training）的方法。
論文鏈接：https://openaccess.thecvf.com/content/CVPR2022/papers/You_Learning_To_Detect_Mobile_Objects_From_LiDAR_Scans_Without_Labels_CVPR_2022_paper.pdf
在這篇論文中，作者讓自動駕駛汽車從頭開始學習整個感知流程。最初，車輛中的人工神經網絡從未接觸過任何物體或街道。在對同一路徑多次遍歷之後，它可以了解到環境的哪些部分是靜止的，哪些目標是移動的。慢慢地，它會教會自己什麼是其他交通參與者，什麼是可以忽略的安全因素。
然後，該算法可以可靠地檢測這些目標，甚至在最初的重複遍歷中不包括的道路上。
研究人員希望這兩種方法都能大幅降低自動駕駛汽車的開發成本（目前仍嚴重依賴昂貴的人工標註數據），並通過學會在最常用的地點導航來提高這種汽車的效率。
論文 1 和論文 3 的一作均為康奈爾大學博士生游宇榕（他也參與了論文 2）。他本科畢業於上海交通大學致遠學院 ACM 班，大二暑假加入盧策吾的實驗室開始了對計算機視覺和增強學習的研究，並分別在大三暑假赴斯坦福大學 AI 實驗室，大四暑假赴康奈爾大學進行相關領域的科研實習，之後獲得康奈爾大學、加州理工學院計算機科學博士全獎錄取。
最終，他選擇了康奈爾大學攻讀博士，師從該校計算機科學教授 Kilian Q. Weinberger 和計算機科學助理教授 Bharath Hariharan，重點研究計算機科學、機器學習等方向。
參考鏈接：https://news.cornell.edu/stories/2022/06/technology-helps-self-driving-cars-learn-own-memories
https://news.sjtu.edu.cn/ztzl_qczj/20180628/78193.html
