片上視覺(jué)系統(tǒng)電路是一種“傳感-存儲(chǔ)-計(jì)算”一體化的智能視覺(jué)感知系統(tǒng)，能夠完成實(shí)時(shí)的圖像獲取、信號(hào)處理及智能圖像處理任務(wù)，可廣泛應(yīng)用于敏捷機(jī)器人、智能無(wú)人機(jī)以及工業(yè)機(jī)器視覺(jué)等前沿領(lǐng)域。現(xiàn)有片上視覺(jué)系統(tǒng)以多比特實(shí)數(shù)形式進(jìn)行圖像獲取、傳輸、處理，并采用計(jì)算視覺(jué)和深度學(xué)習(xí)方法分別完成圖像信號(hào)增強(qiáng)和智能認(rèn)知的處理任務(wù)，面臨兩階段分離訓(xùn)練、數(shù)據(jù)流結(jié)構(gòu)和處理范式變化、計(jì)算復(fù)雜度高、片上存儲(chǔ)開(kāi)銷(xiāo)大、處理延遲和功耗大等諸多的設(shè)計(jì)和應(yīng)用挑戰(zhàn)。
 

　　中國(guó)科學(xué)院半導(dǎo)體研究所劉力源研究員帶領(lǐng)團(tuán)隊(duì)在超高速仿生片上視覺(jué)系統(tǒng)電路設(shè)計(jì)領(lǐng)域取得重要進(jìn)展。團(tuán)隊(duì)創(chuàng)新性地設(shè)計(jì)了一款集成了單光子脈沖型圖像傳感器和脈沖神經(jīng)網(wǎng)絡(luò)處理器的超高速仿生脈沖片上視覺(jué)系統(tǒng)(圖1)，單光子雪崩二極管像素(SPAD)陣列天然地生成高速脈沖型圖像信號(hào)，端到端的脈沖神經(jīng)網(wǎng)絡(luò)完成圖像信號(hào)增強(qiáng)和智能圖像識(shí)別任務(wù)，成功地實(shí)現(xiàn)了仿人類(lèi)視覺(jué)系統(tǒng)的全脈沖型圖像獲取、傳輸、處理的功能。
 

　　端到端的脈沖神經(jīng)網(wǎng)絡(luò)集成了前端的圖像增強(qiáng)層和后端的智能認(rèn)知層，采用深度學(xué)習(xí)方式實(shí)現(xiàn)圖像增強(qiáng)與目標(biāo)識(shí)別的融合訓(xùn)練，提高推理精度，降低參數(shù)冗余。圖像增強(qiáng)層和智能認(rèn)知層都采用了脈沖神經(jīng)元模型進(jìn)行計(jì)算，極大地降低了計(jì)算單元的復(fù)雜度；重構(gòu)處理單元電路支持相同計(jì)算并行度下完成兩個(gè)神經(jīng)網(wǎng)絡(luò)層處理，無(wú)需使用獨(dú)立專(zhuān)用的圖像信號(hào)處理器，提高了硬件使用效率，為實(shí)現(xiàn)超高速片上視覺(jué)系統(tǒng)電路提供了一種全新的路徑。
 

　　脈沖片上視覺(jué)系統(tǒng)測(cè)試最高成像速率為每秒10萬(wàn)脈沖圖像幀，在MNIST數(shù)據(jù)集上的識(shí)別準(zhǔn)確率為99.2%，最高識(shí)別推理速度達(dá)10000次/秒，在1.43mlux的低照度條件下實(shí)現(xiàn)了95.3%的識(shí)別準(zhǔn)確率;?在馬賽克彩色ETH-80數(shù)據(jù)集上的識(shí)別準(zhǔn)確率為94.3%。在保持相同的高識(shí)別準(zhǔn)確率的情況下，本文工作將弱光目標(biāo)識(shí)別的照度水平進(jìn)一步降低了一個(gè)數(shù)量級(jí)。該項(xiàng)研究為邊端視覺(jué)設(shè)備提供了實(shí)現(xiàn)超高速視覺(jué)感算一體化高集成度片上系統(tǒng)的新方法。
 

　　上述研究成果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”為題，發(fā)表于《IEEE?固態(tài)電路期刊》 (IEEE?Journal of Solid-State Circuits)。此項(xiàng)研究成果由半導(dǎo)體所助理研究員楊旭和劉力源研究員等共同完成。
 

　　此項(xiàng)工作得到了國(guó)家自然科學(xué)基金和北京市自然科學(xué)基金等項(xiàng)目的資助。
 

圖1?超高速仿生脈沖片上視覺(jué)系統(tǒng)架構(gòu)及其信號(hào)流
 

圖2 超高速仿生脈沖片上視覺(jué)系統(tǒng)硬件照片和識(shí)別精度隨照度變化曲線(xiàn)測(cè)試結(jié)果