原创技术开发再添新彩-通用显微图像AI

 

技术创新,助力设备高速智能发展

 

 

近日,中国科学院生物物理研究所李栋研究员团队联合清华大学戴琼海院士团队《Nature Communications》杂志发表了题为《Zero-shot learning enables instant denoising and super-resolution in optical fluorescence microscopy》的研究论文,基于显微图像的噪声模型与零样本学习理论,提出了零样本通用显微图像处理框架ZS-DeconvNet,并开发了对应的一键式显微图像处理软件。ZS-DeconvNet能够使用少至单张低分辨率/信噪比图像、以无监督的方式进行训练,稳定地将显微图像的分辨率提高至衍射极限1.5倍以上,工作荧光强度比传统的超分辨成像条件降低10倍

 

ZS-DeconvNet框架及示例性处理效果

 

ZS-DeconvNet的三大亮点

 

 

 

物理性

RECRUIT

该团队根据光子噪声模型、光学显微成像模型、与图像空间连续性设计了物理启发的自监督损失函数,能够在无需额外训练集的条件下同时学习去噪和超分辨能力。研究团队在文章补充材料中从理论上证明了所提出损失函数的收敛性。

 

 

通用性

RECRUIT

ZS-DecovNet能够处理包括全内反射显微成像、三维宽场显微成像、晶格光片显微成像、共聚焦显微成像在内的各种成像模式。特别地,基于结构光照明显微镜(SIM)图像重建噪声零期望特性的理论发现,该团队将所提出的ZS-DecovNet方案扩展到SIM图像上,从而首次实现了SIM图像的噪声鲁棒深度学习超分辨模型的无监督训练

 

 

鲁棒性

RECRUIT

ZS-DecovNet可以适应不同的生物成像环境,即使生物过程过于动态和光敏,无法获取高质量的显微图像。与传统基于迭代优化的解卷积方法相比,ZS-DeconvNet在所有信噪比条件下的定性和定量评估方面都有了实质性的改进,且数据通量高100多倍

上下滑动查看更多

 

ZS-DeconvNet增强的细胞有丝分裂过程三维超分辨观测

 

研究团队开展了丰富的活体生物实验,证明了ZS-DeconvNet的通用性,发现ZS-DeconvNet在多种成像模态的生物实验中均可展现出卓越性能,助力生命科学研究:

 

1

以数千时间点的双色超分辨成像性能在内源性表达水平上分析再循环内体(Recycling Endosome)和晚期内体(Late Endosome)的快速动力学。

 

2

在长达一小时以上的细胞粘附/迁移过程中,以高时空分辨率可视化细胞骨架动力学

 

3

对Hela细胞有丝分裂完整过程进行三维三色超分辨实时成像,揭示线粒体与内质网的维相互作用以及核斑的时空演化规律

 

4

观察发育中的秀丽隐杆线虫和小鼠胚胎内部微管、线粒体亚细胞结构的动态演化规律

 

目前,ZS-DeconvNet功能已经逐步集成在多模态结构光超分辨智能显微镜Multi-SIM中,帮助用户摆脱训练集采集的繁重工作、轻松一键增强生物数据,敬请期待!

 

 

为什么开发AI显微图像处理方法?

 

 

显微图像处理技术,包括图像超分辨、去噪等,可以在不增加活体成像实验成本的基础上提升图像质量,是推动生命科学研究的利器。然而稀疏解卷积、RL解卷积等传统算法对光子噪声敏感,其性能很大程度上取决于超参数的主观设置;而深度学习方法则依赖大量低分辨率/信噪比-高分辨率/信噪比的显微图像数据对进行学习。但由于活体生物样本的高动态性、以及生物结构种类的多样性,为每种生物结构采集大量高质量的训练数据是不切实际的。这些因素严重阻碍了现有放在在日常生物实验中的使用。因此,研发一种适用于多种成像模态、无需格外训练数据的通用AI显微图像处理方法,将为脑科学、细胞生物学等基础研究的发展提供强大、可靠的工具支撑。

 

原文献链接

https://www.nature.com/articles/s41467-024-48575-9

 

 

 

2024-05-28