0
雷鋒網按：聚類問題有一大經典難題：沒有數據集的真實分類情況，我們怎么才能知道數據簇的最優數目？
本文會談談解決該問題的兩種流行方法：elbow method（肘子法）和 silhouette method。
在監督學習里，某特定數據集的類（class）的數量，在一開始就是知道的——每個數據實例，都被標記歸屬于某個類。最壞的情況下，我們還可以盤查類屬性（ class attribute），計算其中包含的獨特元素。
但在無監督學習里，類屬性或者明確的類成員劃分是不存在的。想想也是，無監督學習的一個主要形式，就是數據聚類。它的目標是通過最小化不同類之間的實例相似度、最大化同個類中的實例相似度，來進行大致的類成員劃分。
眾所周知，聚類問題有一個很大的技術難題——不管是以什么形式，開發者需要在一開始，就給出無標記數據集中的類的數目。足夠幸運的話，你或許事先就知道數據的 ground truth——類的真實數目。但情況并不會總是如此。譬如說，或許數據中不存在定義明確的類（簇）。而無監督學習本來的意義，便是探索數據，找出使簇、類得數目達到最優的結構。
這就回到了文章開頭的問題：不知道 ground truth 的情況下，怎么才能知道數據簇的最優數目是多少？這方面，倒是已經林林總總有相當多的處理方法。本文會討論其中應用極廣泛的兩種方法。第一種，是 Elbow Method。
Elbow Method
elbow method 是上手首選，由于能通過可視化便利地解釋、驗證，它的用處很大。它用關于簇數目的函數來解釋方差（k-means 里的 k）。它會繪制出能被 k 解釋的方差的比例。第一批的 N 個簇應當會為解釋方差添加大量信息。但是，有些 k 最終值會導致少得多的信息增量。這時，數據圖會有明顯的角度。該角度就是簇的最優數量。
雷鋒網提醒，有一點應該是不言而喻、無須解釋的：為了按照不同的簇數量繪制方差，需要對不同數目的簇進行測試。在繪制、比較結果之后，必須要有該聚類方法的成功、完整地迭代。
Silhouette Method
Silhouette method 會衡量對象和所屬簇之間的相似度——即內聚性（cohesion）。當把它與其他簇做比較，就稱為分離性（separation）。該對比通過 silhouette 值來實現，后者在 [-1, 1] 范圍內。Silhouette 值接近 1，說明對象與所屬簇之間有密切聯系；反之則接近 -1。若某模型中的一個數據簇，生成的基本是比較高的 silhouette 值，說明該模型是合適、可接受的。
via kdnuggets；雷鋒網編譯
深度學習之神經網絡特訓班
20年清華大學神經網絡授課導師鄧志東教授，帶你系統學習人工智能之神經網絡理論及應用！
課程鏈接：http://www.mooc.ai/course/65
加入AI慕課學院人工智能學習交流QQ群：624413030，與AI同行一起交流成長
相關文章：
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
