案例分享:自動駕駛3D點雲語義分割數據標註

2022年07月15日12:03:28 科技 1156

在自動駕駛環境感知系統中,如何獲取高精度實時路況數據,是決定自動駕駛系統行車安全的關鍵。

目前主流的兩種感知技術路徑「純視覺」與「高精地圖+激光雷達」中,由於激光雷達採集的3D點雲路況數據更為密集、準確且具備三維地理信息,因此以3D點雲數據為基礎的感知算法即成為部分自動駕駛企業的核心技術路徑,並誕生了規模龐大的3D點雲數據標註需求。

一.何為3D點雲語義分割

對3D點雲數據的標註處理,依據處理方式和使用標註工具的不同,大致可以分為三類:

1)純點雲

純點雲使用的標註工具以3D立體框為主,待標註對象以3D立體框形式標出,並附上相對應的屬性信息標籤,具體形式如下:


案例分享:自動駕駛3D點雲語義分割數據標註 - 天天要聞

圖片來源:曼孚科技SEED數據服務平台


2)融合標註

融合標註使用的3D標註工具仍以3D立體框為主,但在3D點雲數據以外,還需要使用2D標註工具在點雲數據相對應的2D圖像中進行標註,3D點雲數據中的標註對象與2D圖像中的標註對象一一對應,具體形式如下:


案例分享:自動駕駛3D點雲語義分割數據標註 - 天天要聞

圖片來源:曼孚科技SEED數據服務平台


3)3D點雲語義分割

與2D圖像語義分割標註邏輯類似,3D點雲語義分割也是對不同的待標註對象進行上色分割、賦予語義標籤,不同的是3D點雲語義分割需要在3維立體點雲中對每個像素點指定一個類別標籤,比如車輛,行人,道路,建築物等,具體形式如下:


案例分享:自動駕駛3D點雲語義分割數據標註 - 天天要聞

(圖片來源:曼孚科技SEED數據服務平台)


相較於前兩種標註方式,在需要更為精細的空間信息時(比如自動泊車),立體框標註場景中如鉸接式公交車等形狀可變的物體,3D點雲語義分割標註對路況數據的反饋更為精準,因此,3D點雲語義分割標註在自動駕駛感知算法中所佔的比重也越來越高。

二.常見標註規則與標註對象

不同算法、不同應用場景對點雲語義分割的標註需求與規則也不盡相同,常見的相對簡單的自動駕駛3D點雲語義分割標註對象包括:

1.行人:通常指未騎乘交通工具的人,但包含騎滑板車、平衡車的人。

2.騎車人:通常包括騎摩托車、單車、三輪車、電動車等的人。

3.車輛:車輛是3D點雲語義分割標註場景下最為常見,且子分類較多的對象。子對象的劃分有依據車輛具體車型,比如轎車、卡車、公交車、救護車等,也有依據類別,比如客車、貨車、工程車等。

以類別為例,具體如下:

1)微型車:如代步車、各類三輪車等;

2)小型汽車:如轎車、SUV等;

3)客車:如大、中型巴士、雙層巴士等載人車輛;

4)貨車:如廂式貨車等載貨車輛;

5)工程車:洒水車、消防車、垃圾車等;

6)其他車輛。

4.路面相關:與路面相關的各種對象,可具體細分為馬路可行駛區域、人行道、車道線等。

5.建築物:如樓房、隧道橋面、橋墩、高架橋等。

6.植物:如草地、樹木等

7.路面物體:路面物體也是一個子對象較多的種類,常見的包括:

1)護欄:如交通隔離欄、交通護欄等;

2)柵欄:臨時性的如交通水馬等;

3)交通標註:如紅綠燈、標識牌、桿等;

4)障礙物:如交通錐桶、警示牌、防撞桶、石墩等;

5)其他物體。

8.噪聲點云:如水霧、煙霧、汽車尾氣、雨水等各類噪聲點雲。

以上是3D點雲語義分割常見的各類標註對象,但不同場景,具體的對象劃分規則以及待標註對象種類都存在巨大差異,並沒有統一的標準。

而在更為具體的標註規則上,差異同樣十分巨大。

常見的標註規則如物體起標範圍,通常會規定點雲數量超過X以上,該物體即需要標註,此外還會規定模糊無法判定物體的具體標註規則等等,不一而足。

具象化的標註實例如下:


案例分享:自動駕駛3D點雲語義分割數據標註 - 天天要聞

標註前(圖片來源:曼孚科技SEED數據服務平台)


案例分享:自動駕駛3D點雲語義分割數據標註 - 天天要聞

標註後(圖片來源:曼孚科技SEED數據服務平台)


隨着自動駕駛商業量產進入新階段,開放路段場景複雜且多變,需要自動駕駛算法有更深的場景積累度與迭代能力,以滿足感知算法與行車安全的需求。

3D點雲語義分割更精細的場景信息反饋,在幫助算法建立更貼合現實的場景模型,以及提升感知安全方面具備天然優勢,在自動駕駛邁向大規模商業化應用的今天,勢必將扮演更重要的角色。

科技分類資訊推薦

從聊天機械人到協作夥伴:AI智能體如何重塑企業工作 - 天天要聞

從聊天機械人到協作夥伴:AI智能體如何重塑企業工作

Scott White至今仍對人工智能從新奇技術轉變為真正工作夥伴的速度感到驚嘆。僅僅一年多前,這位Anthropic公司Claude AI產品負責人目睹了早期AI編程工具甚至無法完成一行代碼的窘境。如今,儘管並非專業程序員,他卻能親自構建
小米 16 系列迎最新爆料,Pro 系列鏡頭模組大改,橫向延伸全尺寸設計 - 天天要聞

小米 16 系列迎最新爆料,Pro 系列鏡頭模組大改,橫向延伸全尺寸設計

近日,包括數碼閑聊站在內等多個消息源,就下一代旗艦新機紛紛進行了最新爆料,其中小米 16 系列也在近日迎來了最新消息。根據最新爆料來看,小米 16 系列將會在以往的標準版、Pro 版、Ultra 的基礎上新增一款 Pro Max 型號。但一一對應來看,新款的小米 16 Pro 即對標標準版 , 為大家熟悉的 6.3 英寸小尺寸旗艦機型。而 1...
魅族 22 系列手機本月到來,提供全新開模小尺寸旗艦版本 - 天天要聞

魅族 22 系列手機本月到來,提供全新開模小尺寸旗艦版本

伴隨着時間來到 7 月,各大手機廠商的新機更新計劃有所放緩,不過根據多方爆料來看,「小廠代表」 星紀魅族旗下的魅族 22 系列將會在本月與大家見面。目前魅族 22 系列仍然十分 「神秘」,欠缺主要的配置爆料與外觀圖片作為參考。但根據部分什麼爆料者的消息來看,魅族 22 系列將會全新開模,並提供小尺寸旗艦版本可供選擇...
vivo X300 Pro 更多細節曝光,大 R 角直面屏,新款大底主攝方案加持 - 天天要聞

vivo X300 Pro 更多細節曝光,大 R 角直面屏,新款大底主攝方案加持

今天數碼博主數碼閑聊站在與網友互動中,透露了一款搭載聯發科天璣 9500 的 「大杯」 工程機的最新進展。參考爆料內容與評論區互動來看,預計為 vivo X300 Pro。除搭載聯發科天璣 9500 外,據悉該機一大變化之處在於屏幕部分,根據最新消息來看將會搭載一塊大 R 角直屏,不再採用曲面屏或微曲面屏設計。而這也將成為下一代...
數據驅動,柔性智能建造平台助力高效管理 - 天天要聞

數據驅動,柔性智能建造平台助力高效管理

長沙晚報掌上長沙7月1日訊(全媒體記者 劉嘉)6月30日,由長沙市智能建造產業鏈推進辦公室與中建五局三公司聯合承辦的「創新驅動 智建未來」科技活動舉行。該活動不僅展示了長沙在智能建造領域的創新成果,也為行業高質量發展提供了可複製的實踐經驗。
以前不敢想,機械革命搭配出4959元的RTX5050本,還有2.5K屏 - 天天要聞

以前不敢想,機械革命搭配出4959元的RTX5050本,還有2.5K屏

最近RTX5050本開始大面積登場,很多消費者也想知道,廠商到底能搭配出什麼樣配置?結果機械革命沒有讓大家失望,搭配出一個6199元的新品,補貼後價格4959元,再一次刷新新顯卡筆記本的價格新低。同時,其配置還不是很潦草,還是很平衡的,讓我們來看看。這款本配置了R9 7845HX處理器,12核心,24線程,台積電5nm工藝,Zen4...
中國移動三大核心布局 助力南亞東南亞數字經濟新發展 - 天天要聞

中國移動三大核心布局 助力南亞東南亞數字經濟新發展

【來源:雲南網】6月30日,由雲南省人民政府和雲南省工業和信息化廳聯合舉辦的面向南亞東南亞數字合作推介會在北京舉行,中國移動副總經理陳懷達出席,中國移動數智化部副總經理陶濤發表主題為《建設跨境數據交易高速公路,服務數字信息大通道建設》的演講