0
近日，為了更好地推動安全可靠AI模型相關領域的技術研究與人才培養，鼓勵研究者打造更安全、更可靠的AI，商湯科技聯合北京航空航天大學共同發布，面向技術開發者和在校學生的科技類競賽活動“面向復雜場景的魯棒機器學習大賽Robust Models towards Open-world Classification”（大賽官網： aisafety.sensetime.com）。
大賽以CVPR2022 Workshop：The Art of Robustness: Devil and Angel in Adversarial Machine Learning 為依托，該Workshop將匯聚來自全球計算機視覺、機器學習與智能安全領域的專家學者，圍繞對抗機器學習的最新進展和發展展開研討與分享，以推動安全可信人工智能技術進步。比賽2022年3月正式開賽，希望參與者發揮創新思維與創新能力，開發以數據為中心的新算法，例如數據增強、標簽細化、制作對抗性數據，甚至設計來自其他領域的知識融合算法、數據集，加速圖像分類中的對抗性魯棒性技術研究，以達到更好地訓練高效穩定的機器學習模型的目標。
隨著人工智能技術發展，如今AI模型已廣泛應用于智慧城市、智能工廠、自動駕駛等公共、生活和生產領域，人工智能已經成為信息基礎設施的重要組成。但在這個過程中，人工智能也暴露出一些風險隱患，例如用戶和業界對于對抗安全、模型魯棒性等問題的關注度持續提升。商湯科技很早就啟動了相關研究和布局，針對對抗安全、模型魯棒性以及隱私保護等問題，建立和完善了AI安全平臺技術體系，打造覆蓋全行業云邊端平臺更安全的“盾”，推動人工智能更安全、更公平、更可持續性地發展，以提升人的福祉，推動人類社會進步。
此次大賽由商湯科技和北京航空航天大學劉祥龍教授團隊合作舉辦，希望通過比賽吸引更多研究者共同參與到，推動安全、可靠的人工智能技術發展中來。劉祥龍教授團隊多年來深耕人工智能安全領域，不斷探索可信賴人工智能前沿技術，在對抗攻防、模型評測和可解釋理論方面成果豐碩，在國內外均具有一定影響力。比賽還得到了OpenI啟智新一代人工智能開源開放平臺的資源協助和大力支持。
當前的機器學習競賽大多在封閉數據集下尋找魯棒的機器學習模型，然而在開放世界場景中，噪聲數據的多樣性（如對抗擾動、自然噪聲、對抗補丁、對抗光線）以及分類類別的不確定性將會給魯棒模型帶來極大的挑戰。
因此，本次比賽的目的是加速開放世界場景下的魯棒模型研究。希望通過比賽，鼓勵研究者開發面向開放世界的對抗防御算法。面對多種多樣的對抗攻擊算法和真實世界中的各種各樣的場景，在測試類別不確定等因素下，探究魯棒模型的生產方式，促進魯棒防御模型的發展。
本次比賽共有兩條賽道。
第一賽道的目標是獲得魯棒性好的模型，可以適應各種各樣的攻擊樣本。
第一賽道分為初賽和復賽兩個階段。初賽階段，比賽會分別釋放訓練集和測試集，參賽者僅能使用該階段釋放的訓練集訓練魯棒模型。訓練集為正常的分類數據，測試集包含正常分類數據和攻擊樣本。第一賽道的攻擊樣本包括但不限于通過對抗攻擊產生的對抗樣本。選手需要得到足夠魯棒的防御模型，能夠對干凈樣本和對抗樣本進行正確分類。初賽階段選手需要將給定測試集的預測結果提交。復賽階段，參賽者同樣僅能使用該階段釋放的訓練集訓練魯棒模型。但與初賽不同的是，參賽者需要提交訓練好的原始模型，平臺將對提交的模型進行評測。數據集的構成上，初賽為20類，復賽為100類。
第二賽道的目標是對對抗攻擊產生的對抗樣本做區分。在第二個賽道中測試集為開放類別，即和訓練集合的類別沒有交集。
第二賽道同樣分為初賽和復賽兩個階段。初賽階段，比賽會分別釋放訓練集和測試集，參賽者僅能使用該階段釋放訓練接做訓練，得到可以區分正常樣本和對抗樣本的模型。 在復賽階段，選手同樣需要提交模型到平臺進行驗證。
比賽規則
本次比賽的提交評測，在主辦方提供的評測平臺上進行。比賽采用初賽、初賽和復賽階段的評估指標均采用識別準確率。初賽成績排名前20名晉級復賽，最終成績按照干凈樣本下的準確率得分占比40%，噪聲樣本下的準確率得分占比60%進行加權得到總分進行排名。
l 在比賽中只允許使用各個階段提供的訓練數據集進行訓練，其他數據集不允許用于模型的訓練。
l 復賽提交ONNX模型，模型需要為FP32模型，模型體積不大于120M，計算量不大于 5GFLOPs。輸入圖片的格式為3x224x224，每個像素歸一化到[0,1]。
l 不允許為訓練集合提供任何外部數據。
l 禁止模型融合。簡單來說，單獨訓練多個模型然后對結果融合是禁止的，主辦方會對最終提交的代碼進行審核。
l 禁止在模型提交環節使用超過提交規定規模（包括FLOPs和體積）的模型對提交模型進行蒸餾。
l 禁止對測試集樣本手工標記。
l 參與者必須在每個賽道的第二階段提交中附帶一份技術報告，其中包括對其提交的詳細消融研究（建議長度1-4頁）。報告將會在競賽官網進行公開。
本次比賽總獎池1.5萬美元。其中賽道1總獎金池8000美元，取前6名，前六名獎金分別為3000、2000、1500、800、500、200美元；賽道2總獎金池7000美元，取前3名，前三名獎金分別為4000、2000、1000美元。比賽時間為3月11日-5月21日，并將在6月發布及公示獲獎結果，獲獎隊伍還將受邀參加CVPR 2022的相關主題Workshop進行分享。
如今推動可信人工智能技術發展，實現人工智能的技術可控已成為全球共識。對于任何新興技術的應用，都必須保證其安全性與可靠性，必須齊備可驗證、可審查、可信任、負責任等關鍵屬性。與歷史上其他重要技術發展普遍會經歷的一樣，人工智能也正在經歷從技術研發到大量應用的關鍵階段。
商湯科技一直秉持平衡發展的 AI 倫理觀，希望在技術可控、以人為本和可持續三條核心原則的基礎上，尋求均衡發展，希望用人工智能技術推動社會的進步。近年來，商湯科技建立和完善了AI安全平臺技術體系。在數據安全及保護方面，商湯科技成為第一家獲得全部三項 ISO/IEC 隱私信息管理系統、信息安全管理和個人身份信息保護認證的人工智能公司。同時，商湯科技還通過基于真實場景下的數據集的算法驗證與評測，圍繞“AI 算法的數據隱私保護”、“AI 算法的魯棒性”、“AI 算法的公平性”等多個方面進行，從產品源頭確保人工智能算法的可信品質。
依托深厚的技術累積、人才儲備、行業經驗等，未來商湯科技在為用戶提供在行業內廣泛驗證使用、具備行業影響力的可信任AI解決方案的同時，還將引領人工智能行業產品安全標準體系的建立，全方位為AI行業的健康持續發展保駕護航。
雷峰網(公眾號：雷峰網)
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
