KDD Cup 2019 啟動報名，一起來 AutoML 吧

雷鋒網 AI 科技評論消息，KDD 2019 將于今年 8 月 4 日—8 日在美國阿拉斯加州安克雷奇市舉行，隨著投稿的結束，會議的臨近，一年一度的 KDD Cup 也開始啟動報名啦。

不同于去年的單項賽事，今年共分為三項比賽：

• 常規機器學習挑戰賽（Regular ML Track）

• 自動機器學習挑戰賽（Auto-ML Track）

• 以人為本的強化學習挑戰賽（Humanity RL Track）

目前，Auto-ML 挑戰賽已經進入比賽階段，冠軍將獲得 15000 美元獎金，亞軍將獲得 10000 美元獎金，季軍將獲得 5000 美元獎金。值得一提的是，今年賽事的主辦權，又一次花落中國——Auto-ML 挑戰賽由中國公司第四范式主辦，ChaLearn 和微軟協辦。

競賽者需要利用時序關系數據，設計一個能夠自主（無人為干預）實現監督學習的 AutoML 計算機程序。此次比賽將聚焦在二分類問題，且時序關系數據均來自實際業務場景。根據大多數實際應用的時間屬性，數據集按時間順序劃分為訓練集和測試集。訓練集和測試集都由一個主表、一組相關表和一個關系圖組成：

• 主表包含帶有樣本標記、部分特征和時序標簽的實例，用于二分類；

• 相關表包含了主表中實例的重要輔助信息，可用于提高預測效果。相關表中的字段可能含有時間標簽，意味著該表中的信息與時間有關；

• 不同表中數據之間的關系用關系圖描述。需要注意的是，任何兩個表（主表或相關表）都可以有一個關系，任何一對表最多只能有一個關系。主辦方保證訓練集和測試集的關系圖是相同的。

參賽者需要提交通過主表、相關表和關系圖自動構建機器學習模型的 AutoML 方案。一旦經過訓練，模型將以測試主表（不包括樣本標記）、相關表和關系圖作為輸入，并預測測試集的樣本標記。參賽者提交的方案將在受限制的計算資源和時間內進行測試。

為了讓參賽者能夠更好的開發并評估方案，主辦方提供了 10 個時序關系數據集，包括 5 個公共數據集，5 個私有數據集。

比賽共分為三個階段：

• Feedback 階段：反饋階段。在此階段，參賽者可以在五個公共數據集上進行訓練，開發 AutoML 方案。參賽者可以進行有限數量的提交，并獲得作為反饋的所有五個公共數據集的測試數據的性能。參賽者可以下載有標記的訓練數據集和未標記的測試數據集。因此，參賽者可以在線下準備他們的代碼并提交。該階段最后的代碼提交將最終作為下一階段進行盲測的代碼。

• Check 階段：校驗階段。該階段將在五個私有數據集上對第一階段的最后一次提交的代碼進行盲測，確保提交的方案順利運行，不會出現例如超時或者內存溢出等問題，但參賽者無法看到具體的結果，所有小組具備一次更新代碼的機會，以保證在最終階段正確的運行自己的代碼。

• AutoML 階段：即盲試階段。該階段將測試方案在私有數據集上的性能。參賽者的代碼將在無需人為干預情況下完成訓練和預測。AUC 作為評價指標，最終將根據五個私有數據集的平均排名進行評分。若最終比分相同，則優先考慮可解釋性更好的方案，可解釋性將由專家團隊評審。

以上三個階段的計算及內存資源均有所限制，因此方案應兼顧效果及效率。

時間軸如下：

• 2019 年 4 月 1 日：比賽開始，發布公共數據集。參與者可以開始提交代碼并在排行榜上獲得即時反饋信息。

• 2019 年 6 月 27 日：Feedback 階段結束，Feedback 階段的代碼自動遷移到 Test 階段。

• 2019 年 7 月 7 日：Check 階段結束，主辦方開始代碼驗證。

• 2019 年 7 月 11 日：提交報告截止。

• 2019 年 7 月 16 日：AutoML 階段結束，開始評審流程。

• 2019 年 7 月 20 日：宣布 KDD Cup 冠軍。

• 2019 年 8 月 4 日：舉辦頒獎儀式

大賽官網：https://www.4paradigm.com/competition/kddcup2019

報名地址：https://competitions.codalab.org/competitions/21948

雷鋒網雷鋒網

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。