現(xiàn)有研究的實(shí)驗(yàn)結(jié)果通常是在軟件中加入器件特性而仿真獲得的,在軟件仿真中忽略某些非理想特性會(huì)使預(yù)測結(jié)果過分樂觀。與之前工作不同的是,本文報(bào)道的結(jié)果均在硬件上測量獲得。硬件-算法的協(xié)同優(yōu)化方案包含模型驅(qū)動(dòng)芯片校準(zhǔn)技術(shù)(model-driven chip calibration)、抗噪聲網(wǎng)絡(luò)訓(xùn)練與模擬權(quán)重編程技術(shù)(noise-resilient neural-network training and analogue weight programming)、環(huán)漸進(jìn)式模型微調(diào)技術(shù)(chip-in-the-loop progressive model fine-tuning)。模型驅(qū)動(dòng)芯片校準(zhǔn)技術(shù)利用真實(shí)的權(quán)重與輸入數(shù)據(jù),對輸入電壓幅度、ADC偏移量等條件進(jìn)行校準(zhǔn);抗噪聲網(wǎng)絡(luò)訓(xùn)練與模擬權(quán)重編程技術(shù)采用添加高斯噪聲的非量化權(quán)重訓(xùn)練網(wǎng)絡(luò),并在憶阻器陣列中直接存儲(chǔ)高精度的權(quán)值,提升權(quán)重存儲(chǔ)密度與推理準(zhǔn)確率;環(huán)漸進(jìn)式模型微調(diào)技術(shù)通過每次僅部署一層網(wǎng)絡(luò)權(quán)重,并利用硬件的輸出結(jié)果,在軟件上對后續(xù)網(wǎng)絡(luò)層進(jìn)行訓(xùn)練,從而對當(dāng)前編程層的非理想性進(jìn)行補(bǔ)償。
NeuRRAM系統(tǒng)具有數(shù)據(jù)流可重構(gòu)的TNSA架構(gòu)、電壓模神經(jīng)元電路、算法-硬件協(xié)同優(yōu)化方案,在多個(gè)人工智能任務(wù)中實(shí)現(xiàn)了與軟件結(jié)果相當(dāng)?shù)耐评頊?zhǔn)確率。通過在全部硬件設(shè)計(jì)層次上進(jìn)行創(chuàng)新,NeuRRAM提高了現(xiàn)有憶阻器存算一體系統(tǒng)的能效、靈活性和準(zhǔn)確性,其優(yōu)化思路可以廣泛應(yīng)用于其他非易失存儲(chǔ)器的設(shè)計(jì)中。隨著阻變存儲(chǔ)器的內(nèi)存容量不斷增加,這種協(xié)同優(yōu)化方案將顯著提升邊緣設(shè)備的性能、效率和通用性,讓云端任務(wù)在邊緣端的部署成為可能。
該項(xiàng)成果由清華大學(xué)、斯坦福大學(xué)與UCSD合作完成,清華大學(xué)集成電路學(xué)院的吳華強(qiáng)教授和高濱教授是本文的共同通訊作者。集成電路高精尖創(chuàng)新中心工程師吳大斌與清華大學(xué)集成電路學(xué)院已畢業(yè)博士生章文強(qiáng)參與完成了主要電路設(shè)計(jì)、器件優(yōu)化與芯片集成工藝的研究工作。清華大學(xué)錢鶴、吳華強(qiáng)團(tuán)隊(duì)長期從事憶阻器存算一體技術(shù)的相關(guān)研究,在器件集成和芯片設(shè)計(jì)等方面取得了多項(xiàng)突破性進(jìn)展,曾在2020年ISSCC上發(fā)表了國際*基于模擬型憶阻器的全系統(tǒng)集成存算一體芯片,并在同年《自然》期刊發(fā)表了國際*多憶阻器陣列的存算一體芯片,并在持續(xù)探索先進(jìn)工藝下的憶阻器集成技術(shù)。
免責(zé)聲明:本文轉(zhuǎn)載自“芯系清華”,本文僅代表作者個(gè)人觀點(diǎn),不代表薩科微及行業(yè)觀點(diǎn),只為轉(zhuǎn)載與分享,支持保護(hù)知識(shí)產(chǎn)權(quán),轉(zhuǎn)載請注明原出處及作者,如有侵權(quán)請聯(lián)系我們刪除。