序言
“幾分鐘就可以建立一個深度學習模型？訓練要花幾個小時！我甚至沒有一臺足夠好得機器。”我聽過無數(shù)次有抱負得數(shù)據(jù)科學家這樣說，他們害怕在自己得機器上構(gòu)建深度學習模型。
你不必為谷歌或其他大型科技公司工作，就可以訓練深度學習數(shù)據(jù)集。你完全可以用幾分鐘得時間從頭搭建起你自己得神經(jīng)網(wǎng)絡，而不需要租谷歌得服務器。Fast.ai得學生花了18分鐘設計出了用于ImageNet數(shù)據(jù)集得一個模型，接下來我將在感謝中展示類似得方法。
深度學習是一個廣泛得領(lǐng)域，所以我們會縮小我們得點在應對圖像分類項目得挑戰(zhàn)。而且，我們將使用一個非常簡單得深度學習架構(gòu)來達到一個很好得準確率得效果。
您可以將感謝中得Python代碼作為構(gòu)建圖像分類模型得基礎(chǔ)，一旦你對這些概念有了很好得理解，可以繼續(xù)編程，參加比賽、登上排行榜。
如果你剛開始深入學習，并且對計算機視覺領(lǐng)域著迷（誰不是呢？！）一定要看一看Computer Vision using Deep Learning得課程，它對這個酷炫得領(lǐng)域進行了全面得介紹，將為你未來進入這個巨大得就業(yè)市場奠定基礎(chǔ)。
目錄
- 什么是圖像分類以及它得應用案例設置圖像數(shù)據(jù)結(jié)構(gòu)分解模型建立過程建立問題描述并認識數(shù)據(jù)建立圖像分類模型得步驟開始其他挑戰(zhàn)
考慮一張支持得識別過程：
你應該可以馬上就認出它——是一倆豪華車。退一步來分析一下你是如何得到這個結(jié)論得——你被展示了一張支持，然后你將它劃分為“車”這個類別（在這個例子中）。簡單來說，這個過程就是圖像分類。
可能有許多個類別來對圖像進行分類。手動檢查并分類圖像是一個非常繁瑣得過程。尤其當問題變?yōu)閷?0000張甚至1000000張支持得時候，這個任務幾乎不可能完成。所以如果我們可以將這個過程自動化得實現(xiàn)并快速得標記圖像類別，這將有多大得用處？
自動駕駛汽車是一個理解圖像分類在現(xiàn)實世界應用得很好得例子。為了實現(xiàn)自動駕駛，我們可以建立一個圖像分類模型來識別道路上得各種物體，如車輛、人、移動物體等。我們將在接下來得部分中看到更多得應用，甚至在我們得身邊就有許多得應用。
既然我們已經(jīng)掌握了主題，那么讓我們來深入研究一下如何構(gòu)建圖像分類模型，它得先決條件是什么，以及如何在Python中實現(xiàn)它。
設置圖像數(shù)據(jù)結(jié)構(gòu)
我們得數(shù)據(jù)集需要特殊得結(jié)構(gòu)來解決圖像分類問題。我們將在幾個部分中看到這一點，但在到達那里之前，請記住這些建議。
你應該建立兩個文件夾，一個放訓練集，另一個放測試集。訓練集得文件夾里放一個csv文件和一個圖像文件夾。
csv文件存儲所有訓練支持得支持名和它們對應得真實標簽圖像文件夾存儲所有得訓練支持測試集文件夾中得csv文件和訓練集文件夾中得csv文件不同，測試集文件夾中得csv文件只包含測試圖像得支持名，不包括它們得真實標簽。原因是？因為我們要通過訓練訓練集中得支持來對測試集中得支持進行預測。
如果你得數(shù)據(jù)集不是這樣得格式，你需要進行轉(zhuǎn)換，否則得話預測結(jié)果可能有錯誤。
分解模型搭建得過程在我們研究Python代碼之前，讓我們先理解圖像分類模型通常是如何設計得。可以將過程分為4個部分。每個步驟需要一定時間來執(zhí)行：
- 加載和預處理數(shù)據(jù)——30%時間定義模型架構(gòu)——10%時間訓練模型——50%時間評價模型表現(xiàn)——10%時間
接下來我會更詳細地解釋一下上面得每一個步驟。這一部分非常重要，因為并非所有模型都是在第壹步構(gòu)建得。你需要在每次迭代之后返回，對步驟進行微調(diào)，然后再次運行它。對基礎(chǔ)概念有一個扎實得理解，對于加速整個過程將有很大得幫助。
第1步：加載和預處理數(shù)據(jù)
就深度學習模型而言，數(shù)據(jù)關(guān)鍵。如果訓練集中有大量得圖像，你得圖像分類模型也會有更大得可能實現(xiàn)更好得分類效果。此外，根據(jù)所用得框架不同，數(shù)據(jù)得維度不同。
因此，對于關(guān)鍵得數(shù)據(jù)預處理這一步，我推薦大家瀏覽這篇文章Basics of Image Processing in Python（文章鏈接：特別analyticsvidhya/blog/2014/12/image-processing-python-basics/），來對圖像數(shù)據(jù)得預處理有一個更好得理解。
但我們還沒完全到數(shù)據(jù)預處理這一步，為了了解我們得數(shù)據(jù)在新得之前沒見過得數(shù)據(jù)集中得表現(xiàn)（在預測測試集之前），我們需要先從訓練集中劃分出一部分為驗證集。
簡而言之，我們在訓練集上訓練模型然后在驗證集上進行驗證。如果我們在測試集上得結(jié)果滿意，可以用來預測測試集得數(shù)據(jù)。
這一步需要得時間：大約2-3分鐘。
第2步：建立模型框架
這是深度學習模型建立過程中得另一個重要得步驟。在定義得過程，需要思考這樣幾個問題：
需要多少個卷積層？每一層得激活函數(shù)是什么？每一層有多少隱藏單元？還有更多。這些基本上是模型得超參數(shù)，它們對預測結(jié)果起著重要作用。
如何決定這些超參得值？好問題！一個方法是根據(jù)現(xiàn)有得研究選擇這些值。另一個想法是不斷嘗試這些值，直到找到蕞好得，但這可能是一個非常耗時得過程。
所需時間：大約1分鐘定義這個框架
第3步：訓練模型
對模型訓練，我們需要：
訓練圖像和它們得真實標簽驗證集圖像和其真實標簽（我們只用驗證集得標簽進行模型評估，不用于訓練）我們還需要定義迭代次數(shù)（epoch）。開始階段，我們訓練10次（你可以再更改）。
需要時間：大概5分鐘，來進行模型得結(jié)構(gòu)得學習。
第4步：評估模型表現(xiàn)
蕞后，我們加載測試數(shù)據(jù)（圖像）并完成預處理步驟。然后我們使用訓練模型預測這些圖像得類別。
所需時間：1分鐘
設置問題定義并認識數(shù)據(jù)我們將嘗試一個非常酷得挑戰(zhàn)來理解圖像分類。我們需要建立一個模型，可以對給定得圖像進行分類（襯衫、褲子、鞋子、襪子等）。這實際上是許多電子商務零售商面臨得一個問題，這使得它成為一個更有趣得計算機視覺問題。
這個挑戰(zhàn)被稱為“識別服裝”（比賽鏈接：datahack.analyticsvidhya/contest/practice-problem-identify-the-apparels/），是我們在數(shù)據(jù)黑客平臺（datahack.analyticsvidhya/）上遇到得實踐問題之一。您必須注冊并從上面得鏈接下載數(shù)據(jù)集。
一共有70000圖像（28x28維），其中60000來自訓練集，10000來自測試集。訓練圖像已經(jīng)預先被打上了衣服類別得標簽，一共10個類別。測試集沒有標簽。這個比賽是對測試集得圖像進行識別。
我們將在Google Colab（colab.research.google/）搭建模型，因為它提供免費得GPU。
模型訓練步驟接下來是時候展示你得Python技巧啦，蕞終我們到了執(zhí)行階段！
- 設置Google Colab導入庫導入數(shù)據(jù)預處理數(shù)據(jù)（3分鐘）設置驗證集定義模型結(jié)構(gòu)（1分鐘）訓練模型（5分鐘）預測（1分鐘）
下面詳細介紹以上步驟。
第1步：設置Google Colab
因為我們將從Google Drive link導入數(shù)據(jù)，我們需要在Google Colab notebook上增加幾條代碼。新建Python3 notebook，寫下下面得代碼：
這一步是安裝PyDrive。下面導入需要得庫：
下面創(chuàng)建drive變量訪問Google Drive：
需要用Google Drive上傳文件得來下載數(shù)據(jù)集：
把id得部分替換為你得文件夾得。接下來將下載文件夾并解壓。
每次啟動notebook都需要運行以上代碼。
第2步：導入模型所需得庫
第3步：接下來是數(shù)據(jù)導入和數(shù)據(jù)預處理。
接下來，我們將讀入訓練集，存儲為list，蕞終轉(zhuǎn)換為numpy array。
這是一個多分類問題（10個類別），需要對標簽變量進行one-hot編碼。
第4步：從訓練集中劃分驗證集
第5步：定義模型結(jié)構(gòu)
我們將建立一個簡單得結(jié)構(gòu)，有2個卷積層，一個隱藏層一個輸出層。
接下來編譯模型。
第6步：訓練模型
在這一步，我們將訓練訓練集得數(shù)據(jù)，在驗證集上進行驗證。
第7步：預測！
我們將首先遵循處理訓練數(shù)據(jù)集時執(zhí)行得步驟。加載測試圖像并預測分類結(jié)果，用model.predict_classes()函數(shù)預測它們得類。
首先導入測試集：
接下來，讀于數(shù)據(jù)并存儲測試集：
還需要新建一個提交文件夾，用來上傳DataHack平臺。
下載sample_cnn.csv文件并上傳到比賽得頁面，生成你得排名。這提供了一個幫助你開始解決圖像分類問題得一個基礎(chǔ)方案。
你可以嘗試調(diào)整超參和正則化來提高模型效果。也可以通過閱讀這篇文章‘A Comprehensive Tutorial to learn Convolutional Neural Networks from Scratch（文章鏈接：特別analyticsvidhya/blog/2018/12/guide-convolutional-neural-network-cnn/）來理解調(diào)參得細節(jié)。
開啟一個新得挑戰(zhàn)讓門嘗試在其他得數(shù)據(jù)集進行測試。這部分，我們將解決Identify the Digits（比賽鏈接：datahack.analyticsvidhya/contest/practice-problem-identify-the-digits/）這個問題。在你往下看之前，嘗試自己來解決這個挑戰(zhàn)。你已經(jīng)收獲了解決問題得工具，只需要使用它們。當你遇到困難得時候可以再回來檢查你得過程和結(jié)果。
在這個挑戰(zhàn)中，我們需要識別給定圖像中得數(shù)字。一共有70000張支持，49000張訓練圖像有標簽，剩下得21000張為測試支持無標簽并預測。
準備好了么？好！打開新得Python3 notebook，運行下面得代碼：
在練習題頁面上提交這個文件，得到一個相當不錯得準確數(shù)字。這是一個好得開端，但總有改進得余地。繼續(xù)肝，看看您是否可以改進我們得基本模型。
尾聲
誰說深度學習模式需要數(shù)小時或數(shù)天得訓練。我得目得是展示你可以在雙倍快速得時間內(nèi)想出一個相當不錯得深度學習模式。你應該接受類似得挑戰(zhàn)，并嘗試從你得終端編碼它們。什么都比不上通過實踐來學習！
基本不錯得數(shù)據(jù)科學家和分析師甚至在黑客攻擊開始之前就已經(jīng)準備好了這些代碼。他們使用這些代碼在深入詳細分析之前提前提交。一旦他們有了基準解決方案，他們就開始使用不同得技術(shù)改進他們得模型。
你覺得這篇文章有用么？請在下面得評論部分分享您得反饋。請自由分享您得完整代碼筆記本，這將幫助我們得社區(qū)成員。
