MobileNet-V2上能觀(guān)察到同樣的特點(diǎn)

有了cell之后，我們就只需要定義好重復次數N和初始卷積濾波器的數量就得到了最終的網(wǎng)絡(luò )結構，這也是當前大部分模型的搭建思想。這兩個(gè)可以用經(jīng)驗值來(lái)設定，比如4@64，表示初始通道數為64，采用4個(gè)重復的單元，具體的學(xué)習方法與[1]一致。

其中m是每一個(gè)batch采樣的結構，T是需要預測的參數量，

?

每一個(gè)Cell包含了若干個(gè)block，每一個(gè)block都包含了兩個(gè)隱藏狀態(tài)，兩個(gè)對應的操作，以及融合操作，如下：

作者們對兩類(lèi)場(chǎng)景進(jìn)行了實(shí)驗，第一類(lèi)是受延遲影響較大的應用如移動(dòng)APP，使用的是資源受限的壓縮，這樣就可以在滿(mǎn)足低FLOP和延遲，小模型的情況下實(shí)現最好的準確率；這一類(lèi)場(chǎng)景作者通過(guò)限制搜索空間來(lái)實(shí)現，在搜索空間中，動(dòng)作空間(剪枝率)受到限制，使得被智能體壓縮的模型總是低于資源預算。

獎勵指標(reward)使用的是驗證集上測試準確率，如下。

因為剪枝對通道數特別敏感，所以這里不再是使用離散的空間，如{128,256}，而是使用連續的空間，使用deep deterministic policy gradient (DDPG)來(lái)控制壓縮比率，完整的算法流程如下：

?

使用了深度確定性策略梯度(DDPG)方法進(jìn)行優(yōu)化，下圖是在延遲約束下，MobileNet-V1/V2模型在邊緣端和云端設備上的實(shí)驗結果，與固定的8bit量化方法相比，分別取得了1.4倍到1.95倍的加速。

由于上述框架[1]的搜索空間過(guò)大，作者后來(lái)又其進(jìn)行了改進(jìn)，提出了NASNet[2]。NASNet的主要特點(diǎn)是它對網(wǎng)絡(luò )結構的基本單元進(jìn)行搜索而不是對整個(gè)網(wǎng)絡(luò )進(jìn)行搜索，其中兩類(lèi)基本單元分別是Normal Cell和Reduction Cell。

?

以上兩種動(dòng)作使用的LSTM也有差異，下圖(a)是層的去留使用的LSTM，可以看出是一個(gè)雙向的LSTM，要同時(shí)考慮前向和反向的中間狀態(tài)。

而獎勵reward公式如下：

?

(3) 反饋，利用硬件加速器來(lái)獲取延遲和能量作為反饋信號，以指導Agent滿(mǎn)足資源約束。

其中C表示壓縮率，A表示學(xué)生模型準確率，Ateacher表示教師模型準確率，教師網(wǎng)絡(luò )的輸出作為學(xué)生網(wǎng)絡(luò )的真值。

搜索空間就是網(wǎng)絡(luò )組件，也就是基本參數，包括濾波器數量，卷積核高、卷積核寬、卷積核滑動(dòng)步長(cháng)高、卷積核滑動(dòng)步長(cháng)寬等，如下圖(分別是有跳層連接和無(wú)跳層連接)，每一個(gè)參數的預測使用softmax分類(lèi)器實(shí)現，跳層連接則使用sigmoid函數。

對于細粒度的剪枝，可以使用權重的最小幅度作為閾值，對于通道級別的壓縮，可以使用最大響應值。在谷歌Pixel-1 CPU和MobileNet模型上，AMC實(shí)現了1.95 倍的加速，批大小為1，節省了34%的內存。在英偉達Titan XP GPU 上，AMC實(shí)現了1.53 倍的加速，批大小為50。

?

因為上述目標不可微分，所以需要進(jìn)行近似如下：

如果說(shuō)要我在深度學(xué)習這么多方向里選擇一個(gè)的話(huà)，我會(huì )毫不猶豫地選擇模型優(yōu)化，這也是一直在做的事情。