未来骨科医工融合—文献集萃（二十一）基于深度学习的空间地标检测和组织配准

发布日期： 2025-02-26 18:15:42 阅读量： 1

摘要

空间地标对于描述样本或地点之间的组织学特征，在显微镜中跟踪感兴趣的区域以及在共同的坐标框架内配准组织样本至关重要。尽管其他研究已经探索了无监督地标检测，但现有方法并不适合组织图像数据，因为它们通常需要大量图像收敛，无法处理组织切片之间的非线性变形，并且对于z堆栈对齐，图像数据或多模态数据以外的其他模式无效。我们通过引入轻松的地标检测来解决这些挑战，这是一种使用神经网络引导薄板样条的新的无监督地标检测和配准方法。我们提出的方法在多种数据集上进行了评估，包括组织学和空间解析转录组学，与现有方法相比，在准确性和稳定性方面表现出优越的性能。

方法

本文提出了Effortless Landmark Detection（ELD）一种基于深度学习和薄板样条（Thin-Plate Splines, TPS）的无监督地标检测与组织配准方法，解决了组织配准中小样本、非线性形变及多模态对齐的难题。通过基于 hourglass 网络进行无监督的地标检测，之后利用薄板样条方法进行配准。通过在多种数据集上的实验验证，ELD 在单模态数据配准、3D 建模和多模态数据对齐方面均表现出色，显著优于现有的地标检测和配准方法。

总结

针对组织学图像中空间地标检测和组织配准的挑战，本文提出了一种基于深度学习的无监督方法——ELD（Effortless Landmark Detection），该方法适用于小样本数据集，并能够处理非线性变形和多模态数据，可广泛应用于生物医学图像分析。所提出的方法包括以下两个关键步骤。首先，提出了地标检测网络。利用深度神经网络检测图像中的地标，该网络通过训练学习识别具有几何一致性的地标，从而确保在不同组织切片中检测到的地标具有对应关系。其次，其次使用薄板样条（TPS）进行配准。基于检测到的地标，采用薄板样条（TPS）方法进行图像配准。TPS能够处理弹性变形，确保图像之间的平滑和连续变换，从而实现高质量的配准。ELD 的无监督特性消除了对人工标注的依赖，同时其计算效率高，参数调整简单，为生物医学图像分析提供了一种高效、准确且灵活的工具。

创新点

（1）无监督地标检测：通过神经网络与薄板样条（TPS）的结合，无需人工标注即可实现精准配准。

（2）多场景适用性：在单模态（如Visium、H&E）、多模态（如基因表达+质谱成像）及3D建模数据中均表现优异。

（3）高效性与鲁棒性：相较于传统生成式模型，ELD避免了地标不一致性问题，训练时间随数据复杂度线性增长。

文献来源于：https://www.nature.com/articles/s41592-024-02199-5

利益冲突说明：

1.本文献研究获得欧洲研究理事会在欧盟地平线2020研究与创新计划下的资助(资助协议号：101021019)。Erling Persson家庭基金会、瑞典癌症协会和瑞典研究委员会也支持这项研究。

2.本内容不存在研究者、伦理委员会与公开研究成果有关的利益冲突

3.本公众号及相关机构、委员会将定期对利益冲突进行审查和监督，确保活动的独立性和公正性。

授权说明：本内容授权给北京石景山思考特赋能科技公益发展中心登载播放，其他人未经授权不能转载下载。

上一篇: 未来骨科医工融合—文献集萃（二十二）人机交互的人在回路优化研究

下一篇: 未来骨科医工融合—文献集萃（二十）通过显式和隐式机器人- 人类通信实现高效且值得信赖的社交导航

未来骨科 医工融合—文献集萃（二十一）基于深度学习的空间地标检测和组织配准

未来骨科医工融合—文献集萃（二十一）基于深度学习的空间地标检测和组织配准