0
| 本文作者： 三川 | 2017-04-13 14:43 |
雷鋒網(wǎng)按：世界首屈一指的機器學習競賽平臺 Kaggle，在今年早些時候推出了基于 Python 的高維數(shù)據(jù)降維以及可視化處理工具 HyperTools，并將其作為 Kaggle Kernels 的一部分免費提供給開發(fā)者。
日前，Kaggle 在博客公布了使用 HyperTools 的官方教程。其中包含兩個例子：用 HyperTools 對蘑菇數(shù)據(jù)做可視化，以及對全球氣象數(shù)據(jù)做可視化。示例包含代碼，需要做數(shù)據(jù)降維可視化的童鞋，這是一篇不錯的 HyperTools 上手教程。全文由雷鋒網(wǎng)編譯。
數(shù)據(jù)科學家、分析師處理的數(shù)據(jù)集，正在變得越來越復雜。
機器學習的很大一部分專注于從復雜數(shù)據(jù)中抽取涵義。但是，這一過程中人類仍然扮演很重要的角色。人類的視覺系統(tǒng)非常善于檢測復雜結構，并發(fā)現(xiàn)海量數(shù)據(jù)中的微妙模式。人眼睜開的每一秒鐘，都有無數(shù)的數(shù)據(jù)點（到達視網(wǎng)膜的光線圖形）蜂擁至大腦的視覺區(qū)域。對于識別沙灘上的一枚完整貝殼，或是人群中朋友的臉，人腦能輕松完成。這一點其實十分了不起。我們的大腦是無監(jiān)督模式發(fā)現(xiàn)的“狂人”。
另一方面，依賴于我們的視覺系統(tǒng)了來提取信息，有至少一個主要缺陷：至多只能同時感知三個維度。而今天的數(shù)據(jù)集，有很多的維度比這要高得多。
現(xiàn)在數(shù)據(jù)科學家普遍面臨的問題是：
如何駕馭人腦的模式識別超能力，實現(xiàn)復雜、高維數(shù)據(jù)集的可視化？
如同其名，降維是指把高維數(shù)據(jù)集轉化為低維數(shù)據(jù)集。比如說，把 Kaggle 上針對蘑菇的 UCI ML 數(shù)據(jù)集組織為矩陣。每一行都包含一系列蘑菇的特征，比如菌蓋大小、形狀、顏色、氣味等等。對這做降維，最簡單的方法是忽略某些特征。比如挑出你最喜歡的三個特征，去掉其他。但如果忽略的特征包含有價值的甄別信息，比方說要判斷蘑菇是否有毒，這就非常有問題了。
一個更復雜的辦法，是只考慮主要的東西，來對數(shù)據(jù)集進行降維。即將特征進行合并，用合并后的主成分來解釋數(shù)據(jù)集中的大多數(shù)變化。利用一項名為主成分分析（PCA）的技術，我們能夠在降維的同時，盡可能保留數(shù)據(jù)集的寶貴變化。這里的思路是，我們能夠創(chuàng)建一系列（更少）新的特征，每一項新特征都由幾項舊特征合并得到。舉個例子，其中一項新特征也許會同時代表形狀和顏色，另一項代表尺寸和毒性。大體上，每一項新特征都會由原始特征的加權和得到。
下面，是一副幫助你直覺性理解數(shù)據(jù)降維的圖示。
假設你有一個三維數(shù)據(jù)集（左），你想要把它轉化為右邊的二維數(shù)據(jù)集。PCA 會在原始 3D 空間找出主要的坐標軸，即點與點之間的差別最大。當我們把兩條最能解釋數(shù)據(jù)差異的坐標軸確定下來（左圖中的黑線），就可以在這兩條坐標軸上重新為數(shù)據(jù)作圖。3D 數(shù)據(jù)集現(xiàn)在就變成了 2D 的。這里，我們選擇的是低維例子，所以我們能看到發(fā)生了什么。但是，這項技術能用同樣的方式應用于高維數(shù)據(jù)集。
Kaggle 開發(fā)了 HyperTools 工具包，來幫助開發(fā)者對高維數(shù)據(jù)進行降維視覺探索。
它基本的流水線，是導入高維數(shù)據(jù)集（或者一系列高維數(shù)據(jù)集），在單個函數(shù)調用里降維，然后創(chuàng)建圖表。該算法包建立在多個大家很熟悉的工具的基礎上，比如 matplotlib、scikit-learn 和 seaborn。HyperTools 以易用性為首要設計目標，請見下面的兩個例子。
首先，我們來探索下上文提到的蘑菇數(shù)據(jù)集。從導入相關算法庫開始：
import pandas as pd
import hypertools as hyp
接下來，把數(shù)據(jù)讀取到 pandas DataFrame:
data = pd.read_csv('../input/mushrooms.csv')
data.head()
DataFrame 的每一行對應著對某一個蘑菇的觀察值，每一列反映出一個蘑菇的描述性特征。這里，僅展示了表單的一部分。現(xiàn)在，我們可以通過把數(shù)據(jù)導入 HyperTools，把高維數(shù)據(jù)在低維空間表示出來。為了對文本列進行處理，在降維之前，HyperTools 會先把每個文本列轉為一系列二元的假變量。如果“菌蓋尺寸”這一列包含“大”和“小”標簽，這一列會被轉為兩個二元列，一個針對“大”，另一個針對“小”。 1 代表該特征（“大”或“小”）的存在，0 代表不存在。（雷鋒網(wǎng)注：詳細解釋請參考 pandas 文件中的 get_dummies 函數(shù)）
hyp.plot(data, 'o')
在繪制 DataFrame 上，我們實際上創(chuàng)建了一個三維的“蘑菇空間”。具有相似特征的蘑菇，是空間中距離相近的點，特征不同的，則距離更遠。用這種方式做 DataFrame 可視化，一件事馬上變得很清楚：數(shù)據(jù)中有多組簇。換句話說，蘑菇特征的所有組合并不是等可能的（equally likely），而特定的組合，會傾向于聚到一起。為更好理解這一空間，我們可以根據(jù)所感興趣的數(shù)據(jù)特征，對每個點上色。舉個例子，根據(jù)蘑菇是否有毒/可食用來上色。
hyp.plot(data,'o', group=class_labels, legend=list(set(class_labels)))
紅色代表有毒，綠色無毒
用這種方式可視化，可以清楚看出，每個簇中的蘑菇是否有毒都是穩(wěn)定的。但不同之處在于簇與簇之間。另外，看起來有好幾個十分明確的“有毒”以及“可食用”的簇。我們可以借助 HyperTools 的“聚類”功能，對此進一步探索。它使用了 k-means 聚類方法對觀察值上色。數(shù)據(jù)集的描述表明其有 23 種不同種類的蘑菇，因此，我們把n _clusters 參數(shù)設為 23。
hyp.plot(data, 'o', n_clusters=23)
To gain access to the cluster labels, the clustering tool may be called directly using hyp.tools.cluster, and the resulting labels may then be passed to hyp.plot:
為訪問簇的標簽，該聚類工具可用 hyp.tools.cluster 直接調用，相關標簽隨機被傳遞到 hyp.plot:
cluster_labels = hyp.tools.cluster(data, n_clusters=23)
hyp.plot(data, group=cluster_labels)
在默認設置中，HyperTools 使用 PCA 來進行降維。但只需要額外的幾行代碼，我們就可以直接從 sklearn 中調用相關函數(shù)，以使用其它降維方法。。舉個例子，如果我們使用 t-SNE 來給數(shù)據(jù)降維的話：
from sklearn.manifold import TSNE
TSNE_model = TSNE(n_components=3)
reduced_data_TSNE = TSNE_model.fit_transform(hyp.tools.df2mat(data))
hyp.plot(reduced_data_TSNE,'o', group=class_labels, legend=list(set(class_labels)))
不同的降維方法，會突出或保留數(shù)據(jù)的不同方面。這里有一個包含額外示例（包括其它降維方法）的資源庫。
對于如同通過降維和可視化暴露出數(shù)據(jù)的幾何機構，上述的數(shù)據(jù)考察（data expedition）給出了一個例子。蘑菇數(shù)據(jù)集的觀察值形成了獨立的簇，我們通過 HyperTools 來發(fā)現(xiàn)這些簇。類似這樣的探索和可視化，能夠指導我哦們的分析決策，比如，是否要用一個特定種類的分類器，來區(qū)分有毒 vs 可食用的蘑菇。如果你想要自己試試用 HyperTools 分析這個蘑菇數(shù)據(jù)集，請戳這里。
上文蘑菇數(shù)據(jù)集包含的是靜態(tài)觀察值，我們再一起來看看全球氣溫數(shù)據(jù)。這個案例會向大家展示，如何利用 HyperTools 使用動態(tài)軌跡對時間序列數(shù)據(jù)進行可視化。
接下來的數(shù)據(jù)集，是 1875–2013 年間全球 20 個城市每月的氣溫記錄。為了用 HyperTools 來準備數(shù)據(jù)集，我們創(chuàng)建了一個時間/城市矩陣，每一行是接下來每月的氣溫記錄，每一列是不同城市的氣溫值。你可以用 Kaggle 上的 Berkeley Earth Climate Change 來重建這一示例，或者克隆這一 GitHub 資源庫。
為了對溫度變化做可視化，我們會用 HyperTools 來給數(shù)據(jù)降維，然后把溫度隨時間的變化用線畫出來：
hyp.plot(temps)
這看起來像一團亂麻，是吧？但我們承諾了找出數(shù)據(jù)的結構——現(xiàn)在就來找吧。
由于每個城市的地理位置不同，它溫度時間序列的平均值和方差會比其他城市更高或者更低。這會反過來影響降維時該城市的權重。為了對每個城市在圖表中的權重進行標準化處理，我們可設置標準化 flag （默認值是 False）。設置 normalize='across' 。HyperTools 整合了一系列實用的標準化選項，詳情請戳這里。
hyp.plot(temps, normalize='across')
用鼠標旋轉該數(shù)據(jù)圖，旋即暴露出的結構很有意思。我們可以按照年份來對線條上色，使其結構更顯眼，并幫助我們理解它如何隨時間而變化。偏紅的線條，意味著時間更久遠，偏藍的線條意味著時間更近。
hyp.plot(temps, normalize='across', group=years.flatten(), palette='RdBu_r')
上色后的線條，暴露出了數(shù)據(jù)的兩個關鍵結構信息。第一，有系統(tǒng)性的藍色到紅色的色彩漸變，表明全球的整體氣溫模式有系統(tǒng)性的改變。第二，每種顏色有周期性的模式，反映出季節(jié)氣候變化。我們也可以用二維圖形對這兩個現(xiàn)象做可視化：
hyp.plot(temps, normalize='across', group=years.flatten(), palette='RdBu_r', ndims=2)
現(xiàn)在是壓軸戲——在創(chuàng)建靜態(tài)圖形之外，HyperTools 還能創(chuàng)建動圖，這有時能顯露出數(shù)據(jù)中的其他模式。創(chuàng)造出動圖，只需要在對時間序列數(shù)據(jù)做可視化時，簡單地把 animate=True 傳給 hyp.plot。如果你還傳了 chemtrails=True，一條數(shù)據(jù)的低透明度足跡會保留在圖形中：
hyp.plot(temps, normalize='across', animate=True, chemtrails=True)
最終的成果，便是該動畫。注視著它給你帶來的滿足感，叫做“全球變暖”。
以上便是用 HyperTools 為氣象和蘑菇數(shù)據(jù)做可視化的例子。想要了解更多的話，請訪問項目的 GitHub 資源庫，文件閱讀網(wǎng)頁，Kaggle 研究團隊寫的論文，以及 notebooks 演示。
via kaggle
相關文章：
從 Kaggle 困局，看國內數(shù)據(jù)競賽平臺如何突圍
谷歌 Embedding Projector 開源，高維數(shù)據(jù)可視化變得超簡單！
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
