0
雷鋒網AI研習社按：CS231n是斯坦福大學開設的計算機視覺與深度學習的入門課程，授課內容在國內外頗受好評。但是只聽課不復習，不做作業來鞏固知識點的話，效果肯定不好。雷鋒網AI研習社在近期的線上公開課上請來了一位技術大牛為大家來講解這門課的配套作業。
本文根據AI研習社公開課上的直播視頻內容整理而成，主要介紹Assignment 1的完成思路與重點部分代碼實現。如果你還沒開始聽CS231n，可直接點擊課程鏈接觀看回放視頻。
王煦中，CS碩士，主要研究方向為自然語言處理與深度學習。知乎專欄喵神大人的深度工坊（http://t.cn/RTc9wfy）作者，日語及ACGN愛好者。
分享主題：CS231n課后作業講解第一講（含代碼實現）作業鏈接：https://github.com/Observerspy/CS231n
分享提綱：
CS231n作業介紹，
kNN的介紹
關于SVM
關于Softmax
關于Two-Layer NN
關于Features
以下是分享內容：
CS231n的全稱是CS231n: Convolutional Neural Networks for Visual Recognition，即面向視覺識別的卷積神經網絡。該課程是斯坦福大學計算機視覺實驗室推出的入門課程，授課內容在國內外頗受好評。所有課程資料、PPT等都可以在網絡上下載：http://cs231n.stanford.edu/syllabus.html。課程的目的是幫助學生深入了解深度學習框架的細節，主要面向視覺識別任務（尤其是圖像分類任務）的端到端學習模型。
關于kNN
kNN主要分為兩步：第一步是訓練，分類器簡單地記住所有的訓練數據。
第二步是測試，比第一步要重要。每一個測試樣本要和每一個訓練數據分別計算距離，選取k個最近的訓練樣本的label，通過投票機制獲得預測值。
投票機制就是大家在一起對所有的類投票，哪一個類的投票數最多，這個測試樣本就會被分為該類的下面。
這個作業主要分為三步，第一步用雙循環實現kNN, 雙循環就是對每個測試數據和每個訓練數據分別計算，第一層循環就是對測試數據的循環，第二層循環是對訓練
下面使用單循環實現。單循環要求每個測試數據通過一次計算就可以得到和訓練數據整體的距離。訓練分為兩個部分，首先是每個測試數據和訓練數據做差，需要注意參數axis的設置，用了廣播機制。
使用無循環實現
具體的實現代碼，可以觀看回放視頻學習。
最后的一個部分是預測：np.argsort()可以對dist進行排序選出k個最近的訓練樣本的下標；np.bincount()會統計輸入數組出現的頻數，結合np.argmax()就可以實現vote機制。
該部分作業要求在測試樣本中需要得到28%的準確率。
關于線性多分類SVM
推導SVM過程很復雜，這里不涉及過多問題，用線性計算就可以了。注意下面這個式子匯總只有錯誤的分類才能產生loss。即j=i 正確分類是沒有loss的。
分別對Wj和Wyi求導，具體的實現代碼可以觀看視頻回播。這個作業要求在驗證集上得到大約40%的正確率。
關于Softmax
Softmax的公式如圖
需要注意的是，所有的分類問題都是一對一的，一個測試樣本只能分到一個類下面。
loss具體代碼實現過程可觀看視頻回放。有了loss之后，在j=i和j≠i的情況下，分別對w求導：
這部分作業要求在驗證集上達到35%的準確率。
第四部分，關于 Two-Layer NN，實現兩層的神經網絡
具體詳解過程見視頻回放。實現反向傳播后，要求調一些參數在測試集上達到48%以上的準確率。
第五部分：特征
該部分不再直接輸入圖片，而是輸入圖片的特征。
使用SVM需要在驗證集上達到44%的準確率，使用雙層神經網絡可以很輕松達到55%以上的準確率，在測試機的分類準確率可達到59.4%。
以上為雷鋒網AI研習社公開課上的關鍵內容提要。視頻回放課程可到AI慕課學院觀看，或直接點擊鏈接：
http://www.mooc.ai/open/course/364。
作業鏈接：https://github.com/Observerspy/CS231n
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
