-
大小: 1.19MB文件類型: .pptx金幣: 1下載: 0 次發(fā)布日期: 2021-01-04
- 語言: 其他
- 標(biāo)簽: 深度學(xué)習(xí)??
資源簡介
新的深度學(xué)習(xí)文獻(xiàn)本篇文章是Mimicking方法在檢測任務(wù)上的嘗試。mimicking作為一種模型壓縮的方法,采用大網(wǎng)絡(luò)指導(dǎo)小網(wǎng)絡(luò)的方式將大網(wǎng)絡(luò)習(xí)得的信息用小網(wǎng)絡(luò)表征出來,在損失較小精度的基礎(chǔ)上大幅提升速度。
Mimicking方法通常會學(xué)習(xí)概率輸出的前一層,被稱為"Deep-ID",這一層的張量被認(rèn)為是數(shù)據(jù)在經(jīng)過深度網(wǎng)絡(luò)后得到的一個高維空間嵌入,在這個空間中,不同類的樣例可分性要遠(yuǎn)超原有表示,從而達(dá)到表示學(xué)習(xí)的效果。本文作者提出的mimicking框架則是選擇檢測模型中基礎(chǔ)網(wǎng)絡(luò)輸出的feature map進行學(xué)習(xí)Mimic作為一種模型小型化的方法,Hinton在 Distilling th
代碼片段和文件信息
評論
共有 條評論