未來異型自動(dòng)插件機(jī)技術(shù)趨勢發(fā)展分析
作者：wenwen
發(fā)布時(shí)間：2018-12-14
點(diǎn)擊數(shù)：
目前主流異型自動(dòng)插件機(jī)AI芯片的核心主要是利用MAC（MultiplierandAccumulation，乘加計(jì)算）加速陣列來實(shí)現(xiàn)對CNN（卷積神經(jīng)網(wǎng)絡(luò)）中最主要的卷積運(yùn)算的加速。這一代AI芯片主要有如下3個(gè)方面的問題。
（1）異型自動(dòng)插件機(jī)深度學(xué)習(xí)計(jì)算所需數(shù)據(jù)量巨大，造成內(nèi)存帶寬成為整個(gè)系統(tǒng)的瓶頸，即所謂“memorywall”問題。
（2）與第一個(gè)問題相關(guān)，內(nèi)存大量訪問和MAC陣列的大量運(yùn)算，造成AI芯片整體功耗的增加。
（3）異型自動(dòng)插件機(jī)深度學(xué)習(xí)對算力要求很高，要提升算力，最好的方法是做硬件加速，但是同時(shí)深度學(xué)習(xí)算法的發(fā)展也是日新月異，新的算法可能在已經(jīng)固化的硬件加速器上無法得到很好的支持，即性能和靈活度之間的平衡問題。
因此，可以預(yù)見異型自動(dòng)插件機(jī)下一代AI芯片將有如下的五個(gè)發(fā)展趨勢。
（1）更高效的大卷積解構(gòu)/復(fù)用
在標(biāo)準(zhǔn)SIMD的基礎(chǔ)上，CNN由于其特殊的復(fù)用機(jī)制，可以進(jìn)一步減少總線上的數(shù)據(jù)通信。而復(fù)用這一概念，在超大型神經(jīng)網(wǎng)絡(luò)中就顯得格外重要。異型自動(dòng)插件機(jī)如何合理地分解、映射這些超大卷積到有效的硬件上成為了一個(gè)值得研究的方向，
（2）更低的Inference計(jì)算/存儲(chǔ)位寬
AI芯片最大的演進(jìn)方向之一可能就是神經(jīng)網(wǎng)絡(luò)參數(shù)/計(jì)算位寬的迅速減少——從32位浮點(diǎn)到16位浮點(diǎn)/定點(diǎn)、8位定點(diǎn)，甚至是4位定點(diǎn)。在理論計(jì)算領(lǐng)域，2位甚至1位參數(shù)位寬，都已經(jīng)逐漸進(jìn)入實(shí)踐領(lǐng)域。
（3）更多樣的存儲(chǔ)器定制設(shè)計(jì)
當(dāng)計(jì)算部件不再成為神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)瓶頸時(shí)，如何減少存儲(chǔ)器的訪問延時(shí)將會(huì)成為下一個(gè)研究方向。通常，異型自動(dòng)插件機(jī)離計(jì)算越近的存儲(chǔ)器速度越快，每字節(jié)的成本也越高，同時(shí)容量也越受限，因此新型的存儲(chǔ)結(jié)構(gòu)也將應(yīng)運(yùn)而生。
（4）更稀疏的大規(guī)模向量實(shí)現(xiàn)
神經(jīng)網(wǎng)絡(luò)雖然大，但是，實(shí)際上有很多以零為輸入的情況，此時(shí)稀疏計(jì)算可以高效的減少無用能效。來自哈佛大學(xué)的團(tuán)隊(duì)就該問題提出了優(yōu)化的五級流水線結(jié)，在最后一級輸出了觸發(fā)信號。在Activation層后對下一次計(jì)算的必要性進(jìn)行預(yù)先判斷，如果發(fā)現(xiàn)這是一個(gè)稀疏節(jié)點(diǎn)，則觸發(fā)SKIP信號，避免乘法運(yùn)算的功耗，以達(dá)到減少無用功耗的目的。
（5）計(jì)算和存儲(chǔ)一體化
異型自動(dòng)插件機(jī)計(jì)算和存儲(chǔ)一體化（process-in-memory）技術(shù)，其要點(diǎn)是通過使用新型非易失性存儲(chǔ)（如ReRAM）器件，在存儲(chǔ)陣列里面加上神經(jīng)網(wǎng)絡(luò)計(jì)算功能，從而省去數(shù)據(jù)搬移操作，即實(shí)現(xiàn)了計(jì)算存儲(chǔ)一體化的神經(jīng)網(wǎng)絡(luò)處理，在功耗性能方面可以獲得顯著提升。
以上就是小編關(guān)于未來異型自動(dòng)插件機(jī)技術(shù)趨勢發(fā)展分析的介紹，希望對大家有用哦！
責(zé)編：文文
