1月21日，中國科學(xué)院生物物理研究所、廣州生物島實驗室研究員李棟課題組，與清華大學(xué)自動化系、腦與認(rèn)知科學(xué)研究院教授戴瓊海課題組，在Nature Methods上以長文（Article）形式發(fā)表了題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文。該研究綜合測評了現(xiàn)有超分辨卷積神經(jīng)網(wǎng)絡(luò)模型在顯微圖像超分辨任務(wù)上的表現(xiàn)，提出傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)（DFCAN，Deep Fourier Channel Attention Network）和傅立葉域注意力生成對抗網(wǎng)絡(luò)（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像條件下實現(xiàn)最優(yōu)的顯微圖像超分辨預(yù)測和結(jié)構(gòu)光超分辨重建效果，并觀測到線粒體內(nèi)脊、線粒體擬核、內(nèi)質(zhì)網(wǎng)、微絲骨架等生物結(jié)構(gòu)的動態(tài)互作新行為。

為測評現(xiàn)有多種超分辨神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨任務(wù)中的表現(xiàn)，以及建立基于深度學(xué)習(xí)的顯微圖像超分辨算法研究生態(tài)，李棟/戴瓊海聯(lián)合課題組利用自主開發(fā)了多模態(tài)結(jié)構(gòu)光超分辨顯微鏡系統(tǒng)，集成了TIRF-SIM、Nonlinear-SIM（Science，2015）和GI-SIM（Cell，2018）等多種超分辨成像模態(tài)，并利用這一系統(tǒng)建立了一個包含四種不同復(fù)雜度的生物結(jié)構(gòu)、九檔信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高質(zhì)量超分辨顯微圖像數(shù)據(jù)集，命名為BioSR。以此為基礎(chǔ)，該團(tuán)隊測試了多個現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出測評矩陣（assessment matrix）方法，將超分辨神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)Linear-SIM和Nonlinear-SIM的效果進(jìn)行比較，得到了不同模型的優(yōu)越區(qū)域（priority region），即給出了不同模型實現(xiàn)足夠好的超分辨成像效果，能夠用于日常生物成像實驗的成像條件。

通過分析評測矩陣結(jié)果發(fā)現(xiàn)，現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越區(qū)域主要集中在低復(fù)雜度生物結(jié)構(gòu)和提升2倍分辨率（即Linear-SIM）的成像條件下，而在生物成像實驗通常使用的中、高信噪比條件下的性能則低于傳統(tǒng)超分辨成像方法。為進(jìn)一步拓展卷積神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨中的適用范圍，提升超分辨成像和重建效果，李棟/戴瓊海聯(lián)合課題組基于高、低分辨率圖像頻譜覆蓋范圍的顯著差異，提出了傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)模型（DFCAN）和傅立葉域注意力生成對抗網(wǎng)絡(luò)模型（DFGAN），實現(xiàn)了比其他超分辨神經(jīng)網(wǎng)絡(luò)模型更魯棒的顯微圖像超分辨成像效果，依據(jù)測評矩陣結(jié)果，其優(yōu)越區(qū)域可以拓展至中、高信噪比成像條件，可在實際生物成像實驗中替代現(xiàn)有超分辨成像方法，拓展了深度學(xué)習(xí)超分辨成像方法的適用范圍。

應(yīng)用DFCAN和DFGAN單張顯微圖像超分辨率預(yù)測和結(jié)構(gòu)光照明超分辨重建方法，研究人員能夠以更低的激光功率、更快的成像速度、更長的成像時程和超越衍射極限的分辨率來觀測亞細(xì)胞尺度生物結(jié)構(gòu)的動態(tài)演變過程。例如：（1）細(xì)胞中的線粒體內(nèi)膜和線粒體擬核之間的相互作用。成像時程（>1200張超分辨圖像）達(dá)到傳統(tǒng)活細(xì)胞超分辨成像方法的10倍以上，首次觀察到伴隨著線粒體內(nèi)脊形變的擬核分離和聚合現(xiàn)象。（2）細(xì)胞中環(huán)形線粒體的旋轉(zhuǎn)行為。揭示環(huán)形線粒體會在細(xì)胞質(zhì)流的推動下進(jìn)行雙向旋轉(zhuǎn)，表明除植物細(xì)胞外，動物細(xì)胞一定程度上也用渦旋細(xì)胞質(zhì)流來調(diào)節(jié)胞內(nèi)穩(wěn)態(tài)。（3）細(xì)胞內(nèi)吞過程中細(xì)胞微絲（F-actin）和網(wǎng)格蛋白小窩（CCPs）的相互作用。觀察到在內(nèi)吞過程伊始時F-actin與CCPs接觸較少，而在內(nèi)吞即將結(jié)束時F-actin頻繁接觸CCPs，以幫助其脫離細(xì)胞膜。（4）細(xì)胞中線粒體和內(nèi)質(zhì)網(wǎng)之間的相互作用。觀察到線粒體的分裂和融合發(fā)生在其與內(nèi)質(zhì)網(wǎng)的接觸位點(diǎn)附近。

李棟、戴瓊海為論文的共同通訊作者。清華大學(xué)自動化系博士生喬暢、生物物理所副研究員李迪、博士后郭玉婷、博士生劉沖為論文的共同第一作者。研究工作得到國家自然科學(xué)基金委員會、科學(xué)技術(shù)部、中科院、中國博士后科學(xué)基金、騰訊“科學(xué)探索獎”的資助。

論文鏈接

傅立葉域注意力生成對抗網(wǎng)絡(luò)將寬場熒光圖像重建成超分辨圖像，準(zhǔn)確解析了微絲細(xì)胞骨架微結(jié)構(gòu)。

　　上圖為傅立葉域注意力機(jī)制深度學(xué)習(xí)算法框架圖。下圖是基于DFCAN和DFGAN結(jié)構(gòu)光超分辨重建活細(xì)胞內(nèi)的線粒體內(nèi)膜結(jié)構(gòu)（綠色）和內(nèi)質(zhì)網(wǎng)（紫紅色），捕捉到線粒體在內(nèi)質(zhì)網(wǎng)與線粒體接觸位點(diǎn)線粒體融合的動態(tài)過程。

來源：中科院