VGG采用大量的簡單卷積網絡堆疊，使得計算量巨大，嚴重消耗性能，后來逐漸出現了很多新架構的神經網絡，能夠在大量減少計算量的情況下保證相同或者更優秀的正確率，同時網絡存儲空間占用也將大大減少。比如MobileNet, 經過測試表明，MobileNet能夠在獲得與VGG獲得相同準確率的結果情況下，占用空間比VGG小倍，速度快倍以上，可以說深度網絡發展的過程就是一個朝著模型正確率越高，同時網絡模型大小越小的一個過程。

最開始的AlexNet采用了一些如*,*等之類的很大的卷積核，當時人們認為卷積核越大，卷積的視野越大，獲取到的信息越多，得到的特征越好。然后大的卷積和會帶來大量的計算量，對性能要求比較高。隨著卷積神經網絡的發展，人們發現，使用兩個*的卷積核的效果會比使用一個*的效果好，同時隨著網絡的加深，網絡的效果會越好，所以VGG就采用了大量的*的卷積和分組堆疊，在當時獲得了世界領先的效果。

但是又過了段時間，人們發現在同一層中使用不同尺寸的卷積核帶來的效果比使用單一尺度的卷積核的效果好，于是人們使用在一個卷積層中，使用了一個*卷積，一個*卷積，一個*卷積結合，產生了GoogleNet，如圖所示，獲得了比VGG更高的準確率。

但是同一層中的參數量比使用單一的尺度的卷積核時多了很多，使網絡效率很低下。于是Google團隊又受*卷積核參數量較少的啟發，在GoogleNet中引入了一些*的卷積核，單層網絡結構如圖-所示。經過這樣的變化后，使網絡的參數量降低到了原來的九分之一，大大加快了網絡的計算速度。

在標準的卷積過程中，一般同一區域所有通道是被同時計算的，而Xception網絡則考慮了先對每個通道單獨做卷積，卷積核數與輸入通道數相同，再對得到的結果做*的跨通道標準卷積。這種方式被稱為深度可分離卷積(DepthWise convolution),也被簡寫為"DW"。

那么這種方式能為我們減少多少參數量呢，我們假設輸入通道為,輸出通道為,則標準*卷積的參數量為*** =，而使用DW卷積的參數量為**+***=,可見，使用DW操作將參數量又降為了原來的/，而且網絡準確率幾乎沒有下降。

介紹到這里，我們將要介紹的MobileNet采用的優化技術已經與Xception非常接近了，不同之處在于這兩網絡深度不同，同時MobileNet為了在不重新設計模型的情況下，加入了兩個超參數，寬度因子與分辨率因子，能夠在只改動這兩個參數的情況下最快的獲得更快和占用內存更小的神經網絡。

寬度因子α的范圍為到，表示的是新構建的網絡每一層卷積層中使用的卷積核數占標準MobileNet中的對應卷積計算層中的卷積核數的比例，調整α的取值，可以將參數量與計算量減少到α的平方倍，不同α取值，獲得的在圖像識別任務上的取得的準確率如下表所示。

分辨率因子β的范圍為到，表示的是每個卷積層輸入的尺寸是標準MobileNet的尺寸的比例，不同β取值，獲得的在圖像識別任務上的取得的準確率如下表所示。

同時*卷積在計算時不需要使用imcol方式對數據進行重新排列，加快了計算速度，MobileNet使用了將近四分之三的*卷積，大大提高了網絡計算速度。完整的MobileNet模型結構如下表所示.