现代显微成像技术的基石,建立在去除荧光在样品中的散射技术上,典型如共聚焦、多光子、光片成像、三维结构光、组织透明化等。然而,基于光学的层切技术常常会带来系统成本、时间分辨率与光毒性的提高,基于生物的层切技术又会带来样品处理复杂性的提高。此外,即使是最先进的光学成像技术,在面对深层样本的成像中,依然会由于深层散射而产生离焦背景,影响精细生物结构的观察。
为了提升各种场景下荧光成像的光学层切性能,北京大学席鹏/深圳大学屈军乐合作团队另辟蹊径,通过计算机视觉与荧光显微的融合提出了一种暗通道光学层切算法(Dark sectioning),相关成果在Nature Methods杂志以长文(Article)的形式发表,题为“暗通道光学层切算法助力荧光图像离焦背景去除”的研究论文。Dark sectioning仅用单帧图像即可高效去除图像的离焦背景,使显微成像的信背比(SBR)和结构相似性(SSIM)得到大幅提升,为深部生物组织研究、病理诊断及深层活体动态观测开辟全新可能。
图1. (a, b)自然图像与离焦图像的暗通道先验处理结果,(c)点拓展函数的大小差异导致暗通道图像差异,以及(d)Dark sectioning处理前后的图像对比。比例尺:4 μm。
Dark sectioning的提出受到自然图像的暗通道去雾启发。研究者发现,荧光图像中的离焦背景与自然图像的雾霾呈现出分布的相似性,他们均表现为对于有效信息的低频加性模糊。其中暗通道先验理论被广泛应用于自然图像去雾任务中,暗通道被定义为图像局部块的最小值组成的图像。在无雾图像中,暗通道图像几乎为0,而在含雾图像中,暗通道图像呈全白分布。研究者发现,暗通道先验还能区分单色图像的在焦与离焦信息,如图所示的黄色花朵,花朵部分的暗通道为全0,而背景树枝的暗通道为波动分布;同理,暗通道先验也能区分荧光图像的背景与在焦信息,这是由于在焦与离焦图像点拓展函数大小的差异,如图1。然而荧光图像中的离焦背景和自然图像的雾霾又有着不同:雾霾呈现全局均一性,且自然图像的像素灰度值代表图像信息;而离焦背景呈现局部波动性,且荧光图像的像素灰度值代表荧光强度。自然图像的暗通道去雾技术直接用于荧光图像会带来弱信号的丢失与背景的不完全去除,因此其并不直接适用于荧光图像当中。
图2. 交叉验证证明Dark sectioning技术的保真性能。(a)霉菌样本的宽场-共聚焦成像,(b)小鼠肾脏微丝的多模态结构光照明显微成像,(c)小鼠神经元钙成像的单光子-双光子成像。比例尺:(a, b)4 μm,(c)20 μm。
接着,研究者开发了适用荧光图像的背景去除技术——暗通道光学层切(Dark sectioning)。Dark sectioning首先通过高低频分离以保留图像的弱小信号,仅将低频部分进行去背景处理,并利用物理参数驱动生成的点扩展函数优化图像块尺寸,在背景去除的过程中,通过更低一级的低通滤波器模拟初始背景分布,从而定量化初始背景,最后通过迭代滤除进行单次或多次的背景去除以适用不同程度的背景场景。通过宽场-共聚焦,宽场-光层切,二维-三维结构光,单光子-双光子的联合交叉验证(图2),研究者证明了Dark sectioning能够基于宽场图像达到共聚焦/光层切/双光子的成像效果,并且能够在深层组织成像时进一步提升共聚焦/光层切/双光子的光学层切能力。
接着,研究者展现了Dark sectioning技术在不同显微成像中的应用如图3。在高通量的光片成像中,由于组织不完全的透明化,呈现严重的离焦背景,而Dark sectioning能够显著提升小鼠全脑成像质量。在活体小动物成像当中,Dark sectioning技术能够通过降低散射背景,提升小鼠身体组织的血管成像清晰度。在650 μm的深层神经元成像中,Dark sectioning能够显著提升基于深度学习的神经元分割提取度,原先难以分辨的神经元得以显现。在病理组织成像中,光片成像对200 μm的深层前列腺组织进行三维荧光成像,但由于组织透明化的非均一性,离焦背景严重。Dark sectioning不仅能够高效去除离焦背景,而且通过风格化迁移后,能够将荧光图像转化的HE染色图像变得更为清晰,从而获得全组织的清晰三维病理信息,协助医生进行综合且全面的病理诊断,获得更为精确的细胞核计数。
图3. Dark sectioning的典型应用。(a)基于光片的小鼠全脑成像,(b)小鼠血管的小动物活体成像,(c)合成孔径双光子小鼠神经元成像,(d)前列腺组织三维光片成像与虚拟染色图像。比例尺:(a)40 μm,(b)2 mm,(c)32 μm,(d)8 μm。
最后,研究者系统探索了Dark sectioning在多种不同光学显微镜硬件模态与重建/后处理算法中的应用场景,如图4所示。研究者发现Dark sectioning不仅能够适用于宽场成像,光片/光场成像,受激发射损耗成像,偏振成像等硬件模态,能够提高光学层切与偏振解析能力;更适用于深度学习超分,荧光涨落成像、二维/三维结构光照明成像,反卷积等重建/后处理算法,能够显著降低二维/三维结构光照明成像伪影,并提升荧光涨落成像(SOFI/SACD),和反卷积的重建分辨率。
图4. Dark sectioning适用于各类基于荧光的显微成像系统与重建/后处理算法中,包括宽场成像,光片/光场成像,受激发射损耗成像,偏振成像,深度学习超分,光学波动成像、二维/三维结构光照明成像,反卷积算法等。
通过计算机视觉与荧光显微成像的组合创新,Dark sectioning无需额外的成像成本,极大地提升了各类荧光成像模态的层切性能。在未来,其有望集成于各类显微技术当中实现实时去离焦成像,并成为结构光/光场/分割/解卷积/荧光涨落/深度学习等重建技术的通用预处理手段。值得注意的是,Dark sectioning由于简单且高效的原理,其处理速度快且泛化性高,研究者为了进一步提高用户友好性,提供了MATLAB程序/函数,基于Java的Fiji插件以及Exe版本的多平台Dark sectioning软件供不同用户测试使用:https://github. com/Cao-ruijie/Dark-sectioning。
论文发表后,FlexSIM的创始人、法国国家科学研究中心的Emmamual Soubies教授对其给出了高度评价并将其加入到了FlexSIM中,他在社交媒体Bluesky中提到:”非常漂亮!我们将这种暗切片方法集成到我们的FlexSIM工作流中,作为处理离焦信号的额外选项。它表现得非常好!”(Nice work! We integrated this dark-sectioning method into our FlexSIM pipeline as an additional option for handling out-of-focus signal. It works remarkably well!)。在本项工作中,北京大学未来技术学院席鹏教授、深圳大学屈军乐教授为该论文的共同通讯作者,北京大学未来技术学院博士生曹睿杰和北京大学未来技术学院已毕业的李雅宁博士为共同第一作者。此外,该工作还得到了华中科技大学费鹏课题组、清华大学吴嘉敏课题组、南方科技大学李依明课题组、北京大学李长辉课题组、北京大学卢闫晔课题组的重要支持与帮助。本工作得到了科技部重点研发专项、国家自然科学基金等项目的资助。
原文链接:https://doi.org/10.1038/s41592-025-02667-6