人工檢查，11 個(gè)類(lèi)、97942 個(gè)標(biāo)簽，Roboflow 開(kāi)源自動(dòng)駕駛數(shù)據(jù)集可以使用啦

機(jī)器學(xué)習(xí)即將帶來(lái)一系列的社會(huì)變革，其中一個(gè)被大肆宣傳的領(lǐng)域是自動(dòng)駕駛。但是，伴隨著自動(dòng)駕駛技術(shù)的巨大動(dòng)力而來(lái)的是巨大的責(zé)任，如果一輛自動(dòng)駕駛汽車(chē)訓(xùn)練的不夠好，可能會(huì)引發(fā)車(chē)禍，導(dǎo)致人員傷亡。

這是一個(gè)非常危險(xiǎn)的問(wèn)題。              

機(jī)器學(xué)習(xí)是通過(guò)舉例來(lái)教計(jì)算機(jī)算法以執(zhí)行新任務(wù)的過(guò)程，但是，ML 模型只能在和它們所訓(xùn)練的數(shù)據(jù)一樣的情況下表現(xiàn)良好。

缺失大量行人和關(guān)鍵標(biāo)注的自動(dòng)駕駛數(shù)據(jù)集問(wèn)題很大            

然而，合適的訓(xùn)練數(shù)據(jù)集并不是很多。在 github 上有一個(gè)廣受歡迎的數(shù)據(jù)集 Udacity（https://github.com/udacity/self-driving-car ），有著 5000+ star，它被成千上萬(wàn)的學(xué)生用來(lái)構(gòu)建開(kāi)源的自動(dòng)駕駛汽車(chē)項(xiàng)目。

對(duì)此，Roboflow 的創(chuàng)始人 Brad Dwyer 感到驚訝和擔(dān)憂(yōu)，因?yàn)檫@個(gè)數(shù)據(jù)集中包含了很多關(guān)鍵的錯(cuò)誤和遺漏。       

他們對(duì)廣泛使用的 Udacity Dataset 2（https://github.com/udacity/self-driving-car/tree/master/annotations ） 中的 15000 幅圖像進(jìn)行了手工檢查，發(fā)現(xiàn)其中 4986 幅（約占總數(shù)據(jù)量的 33%）存在問(wèn)題。這些問(wèn)題包括數(shù)以千計(jì)輛未貼標(biāo)簽的車(chē)輛、數(shù)以百計(jì)未貼標(biāo)簽的行人和幾十個(gè)未貼標(biāo)簽的騎自行車(chē)的人。他們還發(fā)現(xiàn)了許多模糊的注釋、重復(fù)的邊界框和過(guò)大的邊界框的實(shí)例。

錯(cuò)誤實(shí)例（原始數(shù)據(jù)集中缺少突出顯示的紅色注釋?zhuān)?       

或許最令人震驚的是，217 張（約占 1.4%）圖片完全沒(méi)有標(biāo)簽，但它們實(shí)際上包含了汽車(chē)、卡車(chē)、路燈或行人。              

一些包含行人的示例圖像在原始數(shù)據(jù)集中不包含任何注釋。    

          

開(kāi)源數(shù)據(jù)集雖然很好，但是不夠完整和準(zhǔn)確。

在 reddit 上，網(wǎng)友們也紛紛表達(dá)了對(duì)這個(gè)數(shù)據(jù)集的擔(dān)憂(yōu)。

有人表示，大約 1/3 的圖像包含錯(cuò)誤或遺漏，輸入的數(shù)據(jù)不應(yīng)該是垃圾數(shù)據(jù)，自動(dòng)駕駛應(yīng)該受到嚴(yán)肅對(duì)待。手動(dòng)修復(fù)很乏味，但如果有足夠的需求，他還是會(huì)做這件事。

這真的很可怕。我發(fā)現(xiàn)這一點(diǎn)是因?yàn)槲覀冋谵D(zhuǎn)換和重新托管多種流行格式的流行數(shù)據(jù)集，以便跨模型使用。。。我第一次注意到竟然有一堆完全沒(méi)有標(biāo)記的圖像。              

在深入調(diào)查時(shí)，我震驚地發(fā)現(xiàn)，有大約 1/3 的圖像包含錯(cuò)誤或遺漏！有些錯(cuò)誤很小，如汽車(chē)的一部分在車(chē)架邊緣或遠(yuǎn)處的一條路沒(méi)有貼上標(biāo)簽，但有些則很離譜，如在人行橫道上帶著嬰兒推車(chē)的女人也沒(méi)有被標(biāo)記。              

我認(rèn)為這確實(shí)說(shuō)明了嚴(yán)格檢查任何用于模型的數(shù)據(jù)的重要性。如果輸入的是垃圾數(shù)據(jù)，輸出結(jié)果也會(huì)很差勁。自動(dòng)駕駛應(yīng)該受到嚴(yán)肅對(duì)待。              

我繼續(xù)手動(dòng)糾正了丟失的邊界框，并修復(fù)了其他一些錯(cuò)誤。但仍然有很多重復(fù)的框（尤其是紅綠燈周?chē)目颍謩?dòng)修復(fù)很乏味，但如果有足夠的需求，我會(huì)去做這件事。

有人抱怨道，這并不是特別意外，但仍然令人失望。如果有這些明顯的錯(cuò)誤，為什么要公開(kāi)數(shù)據(jù)集？

也有人說(shuō)，雖然他必須將注釋轉(zhuǎn)換為 VOC XML 才能在自己的標(biāo)簽工具中打開(kāi)它們，也必須編寫(xiě)一個(gè)轉(zhuǎn)換回其自定義 CSV 格式的轉(zhuǎn)換程序才能提交 PR。但是如果人們真的要使用這個(gè)數(shù)據(jù)集來(lái)開(kāi)發(fā)開(kāi)源的自動(dòng)駕駛汽車(chē)，所付出的時(shí)間是值得的。

改進(jìn)的 Udacity 自動(dòng)駕駛數(shù)據(jù)集

為了解決這個(gè)問(wèn)題，在獲得 MTI 的許可后，2020 年 2 月，Roboflow 修復(fù)并重新發(fā)布了 Udacity 自動(dòng)駕駛數(shù)據(jù)集，大家可以在項(xiàng)目中使用這個(gè)數(shù)據(jù)集。如果是在原來(lái)的基礎(chǔ)上訓(xùn)練模型，可以考慮切換到這些更新的注釋。

該數(shù)據(jù)集下載地址：https://public.roboflow.ai/object-detection/self-driving-car

Roboflow 重新標(biāo)記了數(shù)據(jù)集，更正錯(cuò)誤和遺漏。他們提供了多種格式以便下載，包括 VOC XML、COCO JSON、Tensorflow 對(duì)象檢測(cè)格式 TFRecords 等。              

數(shù)據(jù)集包含 11 個(gè)類(lèi)和 97942 個(gè)標(biāo)簽的 15000 張圖像，其中還包含 1720 個(gè)沒(méi)有標(biāo)簽的圖像。               

所有圖像均為 1920x1200 的格式，下載大小約為 3.1 GB。Roboflow 還提供了一個(gè)降采樣到 512x512 （下載大小約 580 MB）的版本，適用于大多數(shù)常見(jiàn)的機(jī)器學(xué)習(xí)模型（包括 YOLO v3、Mask R-CNN、固態(tài)硬盤(pán)和移動(dòng)網(wǎng)絡(luò)）。               

Roboflow 已經(jīng)手動(dòng)檢查了數(shù)據(jù)集中注釋的準(zhǔn)確性。

注釋分布如下圖：

正在研究自動(dòng)駕駛技術(shù)的同學(xué)們，現(xiàn)在就可以開(kāi)始使用這個(gè)數(shù)據(jù)集啦~不過(guò)，Roboflow 也聲明，該數(shù)據(jù)集包含許多相同主題的重復(fù)邊界框，他們尚未更正。這些類(lèi)是 100% 重疊的，可能會(huì)影響模型的性能，特別是在 stoplight 檢測(cè)中，重復(fù)邊界框的情況會(huì)比較嚴(yán)重。可能需要通過(guò)使用 IOU 等方法來(lái)過(guò)濾這些類(lèi)。

via：https://www.reddit.com/r/MachineLearning/comments/f29l4v/r_a_popular_selfdriving_car_dataset_is_missing/

https://public.roboflow.ai/object-detection/self-driving-car

http://t.cn/A6hArQ79

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)   

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。