神經編碼是指大腦將外界刺激（如視覺、嗅覺）轉化為神經元脈沖響應的過程，是腦科學研究的關鍵問題，也對機器視覺和機器感知意義重大。大腦中所接收的信息超過70%都是來自于視覺系統(tǒng)，視網膜作為心靈之窗，是生物視覺信息處理的第一站，負責對時空中不斷變化的可見光進行實時編碼。目前已經提出了很多模擬生物視網膜的信息編碼模型，但僅處理簡單或靜態(tài)圖像刺激，并且局限于小規(guī)模神經元群，不能有效表征真實視網膜處理動態(tài)自然場景的過程。

為了突破上述瓶頸，北京大學信息科學技術學院計算機系、數(shù)字視頻編解碼技術國家工程實驗室黃鐵軍教授課題組提出并實現(xiàn)了一種基于卷積循環(huán)神經網絡的視網膜編碼模型，能夠高精度地預測大規(guī)模視網膜神經節(jié)細胞對動態(tài)自然場景的響應，同時可以學習出各個神經節(jié)細胞的感受野。所提出的卷積循環(huán)編碼網絡除了在結構上更加接近視網膜，還可以使用更少的參數(shù)學習出精度更高的編碼模型。實驗結果揭示了網絡的循環(huán)連接結構是影響視網膜編碼的關鍵因素。這一模型不僅具有生物學價值，而且對設計新一代脈沖視覺模型、芯片乃至研制視網膜假體都具有重要意義。

視網膜結構與對應的卷積循環(huán)編碼網絡

相關成果以“通過卷積循環(huán)神經網絡揭示對動態(tài)自然刺激的神經編碼（Unravelling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks）”為題，近日發(fā)表在《細胞·模式》（Cell Patterns,DOI: 10.1016/j.patter.2021.100350）。計算機系2017級博士研究生鄭雅菁為論文的第一作者，主要合作者為人工智能研究院余肇飛研究員和英國利茲大學Jian K. Liu研究員等。

這一計算機科學與生命科學交叉成果的取得，源于北京大學學科全面的綜合優(yōu)勢和跨學科交叉的特色。黃鐵軍課題組從2015年開始與生命科學學院唐世明課題組、基礎醫(yī)學部濮鳴亮課題組等開展交叉合作研究，2018年共同組建的“類腦視覺”團隊獲批科技部創(chuàng)新人才推進計劃重點領域創(chuàng)新團隊。這一研究工作還得到了國家自然科學基金基礎科學中心、牛頓高級學者基金等的大力支持。

來源：北京大學