Nat Biotechnol丨Multi-SIM 合理化深度学习——李栋课题组合作开发置信度可量化的时序显微图像超分辨方法
Nanolnsights
背景：
高信噪比、高分辨率的显微图像总是蕴含着更丰富、更准确的信息，帮助我们以更加精确的视角认知微观世界。然而，受多种生物物理、生物化学、物理光学因素 （如荧光标记浓度、探针亮度、光毒性、光漂白、光子噪声等）的限制，传统超分辨显微成像技术在提升空间分辨率的同时，往往会牺牲成像时长、速度等其他重要性能。
针对这一问题，清华大学李栋团队曾于2021年提出傅里叶注意力超分辨方法（DFCAN）[1]，仅使用单张低分辨率图像即可实现高保真超分辨预测。此后，多种单张显微图像超分辨（Single image super-resolution, SISR）模型被提出，用于拓展活体超分辨显微成像的性能。
然而，这些SISR模型在实际应用于活体显微成像实验（通常表现为时序数据）时，往往存在两个重要局限：
01
SISR模型无法捕捉相邻帧之间的时间相关性，可能产生时间不一致的推理结果；
02
当前SISR方法缺乏对输出结果的准确置信度评估，因而生物学家无法判断其产生的结果是否可信。
针对上述局限，2025年1月29日，清华大学生命科学学院李栋团队与清华大学自动化系戴琼海院士团队合作在Nature Biotechnology杂志以长文（Article）形式发表了题为“A neural network for long-term super-resolution imaging of live cells with reliable confidence quantification”的研究论文。
构建数据集
团队利用李栋团队与纳析科技研发的多模态结构光照明超分辨显微镜（Multi-SIM）构建了高质量的时序超分辨显微图像公开数据集BioTISR。
提出DPA-TISR机制模型
基于对现有时序图像超分辨（Time-lapse image super-resolution, TISR）方法的系统测评，提出了可变形相空间校准机制（Deformable phase-space alignment, DPA）及相应的TISR模型（DPA-TISR），该模型可对低信噪比、低分辨率的时序图像进行高保真度超分辨重建，将多色活体超分辨成像时程拓展30倍以上、延长至上万时间点。
DPA-TISR的输出结果的置信度评估
图1. 时间序列图像超分辨贝叶斯神经网络
进一步地，团队将贝叶斯学习与DPA-TISR结合，提出了贝叶斯时序图像超分辨神经网络（Bayesian DPA-TISR）（如图1所示），并设计了一种期望校正误差（Expected calibration error, ECE）最小化方法，从而对DPA-TISR的输出结果进行准确的置信度评估，帮助生物学家进行更可信的定量研究。
针对“过度自信”问题的解决方案
图2. 最小化期望矫正误差（ECE）流程与效果示意
针对贝叶斯学习常见的“过度自信”问题，设计了一种期望校正误差最小化方法，通过迭代线性搜索和二项式拟合对神经网络进行微调，使得所预测的置信度图与实际误差尽可能匹配，从而将模型期望校正误差降低5倍以上，可靠地指示模型潜在的推理错误。
研究团队首先构建了一个大规模、高质量的时序超分辨图像数据集BioTISR，并利用这一数据集对TISR方法的两个关键组成部分，即传播机制（propagation）和校准机制（alignment）进行了全面、系统的测评。测评结果表明，现有方法中最先进的可变形卷积校准机制依然无法合理捕捉相邻帧中生物结构的全局、大幅位移，导致整体超分辨重建并不理想。
图3. 相空间时序图像校准机制示意图
针对上述问题，团队设计了一种以相空间校准（如图3所示）为基础的时间序列图像超分辨神经网络模型DPA-TISR，该模型能够在相位域中自适应地增强跨帧对齐能力，并且实现了当前最优的TISR性能。BioTISR数据集与DPA-TISR模型共同为超分辨显微成像领域建立了一个时序显微图像超分辨模型的平台（benchmark）与基准（baseline），将进一步推动AI社区与光学显微成像领域的深度融合与交叉创新。
图4. 溶酶体与线粒体长时程相互作用
传统超分辨技术受光毒性与光漂白制约，在多色活体超分辨成像实验（如线粒体、溶酶体双色超分辨观测）中往往仅能持续数十到数百个时间点 [2]。借助DPA-TISR，研究团队在活体 COS-7 细胞中以高时空分辨率记录线粒体、溶酶体互作与动态过程长达10000帧以上（如图4所示），比传统超分辨成像技术多两个数量级。拓展的成像时间窗口大幅提升了观测到罕见、乃至前所未见生物行为的概率，例如，研究团队观测到了线粒体（青色）受溶酶体（黄色）牵引移动的“搭便车”新现象。
图5. 对线粒体与过氧化物酶体相互作用进行分类和评估
Bayesian DPA-TISR准确的置信度量化能力可以助力更加严谨的生命科学研究。例如，过氧化物酶体（PO）是一种频繁与线粒体接触以调节细胞活性氧代谢的功能性细胞器，然而受限于观测手段，线粒体-过氧化物酶体相互作用的类型和比例至今未被系统研究。借助DPA-TISR的高速、长时程、超分辨成像能力，研究团队能够清晰地分辨出两种细胞器空间关系与互作机制（如图5所示），进而发现几乎一半PO从未与线粒体发生接触，同时另一半曾与线粒体互作的PO可以分为三类：
●17%的PO与单个线粒体的接触位点稳定关联；
● 8%的PO同时连接两个或更多的线粒体，充当桥梁的作用；
● 11% 的PO随机地改变其与线粒体的接触位点，充当细胞内信使的角色。
特别地，最后 7% 的PO类型被划分为不确定，因为Bayesian DPA-TISR警示图像在该区域的置信度过低，无法进行可信的行为分类。
上述结果表明，Bayesian DPA-TISR可以为超长时程活细胞超分辨成像以及置信度可量化的生物分析提供全新的技术路径和广泛的应用基础。
DPA-TISR模型重新定义了活细胞成像的技术标准，为研究人员提供了更加精准、可靠的工具，帮助捕捉到以往难以观察到的亚细胞事件和微小动态变化。这一成果的落地与应用，标志着人工智能与光学显微成像技术的深度融合迈出了重要一步，为生命科学研究开辟新的维度。
这一突破性研究由清华大学李栋教授团队与戴琼海院士团队联合攻关完成。目前，DPA-TISR模型的相关训练工作已进入最后阶段，预计将在纳析科技自主研发的智能显微图像处理平台——DeepInsight中实现全面落地。
DeepInsight
DeepInsight平台集成了自动化批量数据重建、降噪和置信度可视化等功能，提供了“端到端”的长时程活细胞全流程解决方案中的重要一环。与其他图像处理软件相比，DeepInsight不仅提供了更加灵活的图像处理方案，满足用户的多元化需求，还创新性地将传统显微图像处理算法（如解卷积、去背景等）与最前沿的深度学习图像处理分析算法（如去噪、超分辨、分割神经网络等）相结合，为用户提供了全面且高效的图像处理能力。此外，DeepInsight平台高度适配多种品牌的显微镜系统产生的数据，无论是共聚焦显微镜、宽场显微镜还是其他高端成像设备，都能无缝兼容并优化处理。这种广泛的兼容性结合前沿的算法，帮助用户看得更清、分析得更准，从而助力新生物现象的发现与定量分析。
