Whiteloran's Blog

Heterogeneous Graph Attention Network for Unsupervised Multiple-Target Domain Adaptation

上线时间：2020-09-23
期刊：IEEE TPAMI
链接：https://ieeexplore.ieee.org/document/9204804

工程意义：多目标域
工程创新：异构图注意力网络，学习域无关空间。
方法：通过异构图注意力网络学习所有域通用的统一子空间，其中图注意力网络的转导能力可以在多个域之间进行相关样本的语义传播。注意力机制被应用于优化多个领域样本的关系，以实现更好的语义转移。然后，利用图注意力网络预测的目标域的伪标签，通过对齐标记的源域和伪标记的目标域来学习域不变表示。

开源：否
评论：一直以来，使用图网络理论上会获得比传统深度网络更好的逻辑和方法，但在深度学习方法已经能做到disentanglement的情况下，这里用图网络来学domain invariant的内容，就显得在方法上写的不够先进。

Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

上线时间：2021-12-21
期刊：CVPR 2022
链接：https://arxiv.org/abs/2112.11177

临床意义：更少的数据和标签需求
工程创新：从UDA到DG，应用风格增强+双路归一化。
方法：首先利用非线性变换来增强源相似和源不同的图像。共享主干网络，在归一化层进行单独归一化。之后，使用基于样式的选择方案，在测试阶段自动选择合适的数据路径。

开源：https://github.com/zzzqzhou/Dual-Normalization
评论：一直以来很多工作都在试图用DG来代替UDA，但在公开数据上，DG常常结果一般。

FReSCO: Flow Reconstruction and Segmentation for low latency Cardiac Output monitoring using deep artifact suppression and segmentation

上线时间：2022-03-25
期刊：N/A
链接：https://arxiv.org/abs/2203.13729

临床意义：心输出量 (CO) 的实时监测需要实时相位对比 MR (PCMR) 的低延迟重建和分割。
工程创新：独立训练深度伪影抑制和分割 U-Net。
方法：独立训练深度伪影抑制和分割 U-Net。

开源：否
评论：临床意义还算可以，工程部分挺一般的。

Student Become Decathlon Master in Retinal Vessel Segmentation via Dual-teacher Multi-target Domain Adaptation

上线时间：2022-03-07
期刊：N/A
链接：https://arxiv.org/abs/2203.03631

工程意义：多目标域适应。
工程创新：双重知识蒸馏
方法：风格增强和迁移（SAT）模块和双师知识蒸馏（DTKD）模块组成。SAT 通过贝塞尔和傅里叶变换将图像增强和聚类到源相似域和源不同域。DTKD 利用增强和转换的数据来训练两名教师，一个用于源相似域，另一个用于源不同域。之后，进行知识蒸馏，以迭代地将不同的领域知识从教师提炼到学生。

开源：暂未；https://github.com/lkpengcs/rvms
评论：双重蒸馏已经挺常见的了，感觉创新性不是很足。变换法进行域转移的话，FedDG在好久前就有做过类似的。此外，视网膜图像在不同的中心条件下是相似的，或许这种UDA的效果不会很in the wild。

Multi-Source Unsupervised Domain Adaptation via Pseudo Target Domain

上线时间：2022-02-23
期刊：IEEE TIP
链接：https://ieeexplore.ieee.org/document/9720154

工程意义：多源域适应
工程创新：构建伪目标域
方法：使用具有度量约束的对抗学习将每组源域和目标域映射到一个特定于组的子空间，并相应地构造一系列伪目标域。然后，将剩余源域与子空间中的伪目标域对齐，这允许通过对伪目标域的训练来利用额外的结构化源信息，并提高真实目标域的性能。

开源：否
评论：多源域适应是一个常见的问题，这个解法还行。此外，网络图画的不是很好看懂，因为没有主体。

On-the-Fly Test-time Adaptation for Medical Image Segmentation

上线时间：2022-03-10
期刊：N/A
链接：https://arxiv.org/abs/2203.05574

临床意义：高速域适应：在现实世界的临床环境中，动态调整模型以适应新的测试图像并避免在推理过程中由于隐私问题和部署时缺乏计算资源而更新模型更有意义。
工程创新：zero-shot + episodic
方法：对Unet的每个卷积块都配备了一个自适应批量归一化层，以根据pre-train的域代码调整特征。

开源：https://github.com/jeya-maria-jose/On-The-Fly-Adaptation
评论：看到开头以为挺好，往后看了感觉一般。实验做得有点问题。

episodic (i.e., the model is adapted to a single image at a time and also does not perform any back-propagation during test-time)

Identifying and preventing cardiovascular disease in patients with cystic fibrosis

上线时间：2022-03-10
期刊：Nature CVR
链接：https://www.nature.com/articles/s44161-022-00030-y

临床声明：提高护理标准和新疗法意味着囊性纤维化患者的寿命更长，但这会增加患非传染性疾病的风险，尤其是心血管疾病 (CVD)。为了提高寿命和生活质量，重要的是要考虑囊性纤维化患者的 CVD 风险和预防措施。

评论：一篇comment。

Active Learning for Domain Adaptation: An Energy-Based Approach

上线时间：2021-12-02
期刊：AAAI 2022
链接：https://arxiv.org/abs/2112.01406

工程意义：提出了一种新的主​​动学习策略来帮助目标域中的知识转移，称为主动域适应。
工程创新：当训练（源）和测试（目标）数据来自不同分布时，基于能量的模型表现出自由能偏差，基于能量的采样策略有助于选择最有价值的目标样本。
方法：查询目标数据组，在每一轮选择中纳入领域特征和实例的不确定性。同时，通过正则化项对齐目标数据的自由能与源域周围的自由能，隐性地缩小域之间的差距。

开源：https://github.com/BIT-DA/EADA
评论：基于能量模型的UDA还是比较少见到的。或许我可以再看一下。

Dual-Modality Volume Measurement Integrated on a Ventricular Assist Device

上线时间：2021-09-24
期刊：IEEE TBME
链接：https://ieeexplore.ieee.org/document/9547820

临床挑战：使用一种传感器模式的体积测量需要在 VAD 植入后的特定时间重新校准。
工程创新：将超声和阻抗体积测量技术集成到心尖 VAD 中。

评论：硬件上的多模态测量。实验较为简单。

Zero-Shot Video Object Segmentation With Co-Attention Siamese Networks

上线时间：2020-11-24
期刊：IEEE TPAMI
链接：https://ieeexplore.ieee.org/document/9268466

工程挑战：Zero-Shot
工程创新：差异化的共同注意力机制
方法：利用视频帧之间的内在相关性并结合全局共同注意力机制，学习短期时间段中外观和运动的判别前景表示。

评论：确切来说，这个方法没有进行对于时序的建模，有点类似Trans对LSTM的改变一样，这个网络抽取视频序列中的任意两帧输入网络，并建模帧和帧的关系。这样它能学到的关系其实是更丰富的。

CrossMoDA 2021 challenge: Benchmark of Cross-Modality Domain Adaptation techniques for Vestibular Schwannoma and Cochlea Segmentation

上线时间：2022-01-08
期刊：MIA

开源：https://paperswithcode.com/dataset/crossmoda

评论：公开的脑部跨模态域适应数据集。

MT-UDA: Towards Unsupervised Cross-modality Medical Image Segmentation with Limited Source Labels

上线时间：2021-09-21
期刊：MICCAI
链接：https://link.springer.com/chapter/10.1007/978-3-030-87193-2_28

临床意义：通用意义，标签稀缺。
工程创新：A+B: Unsupervised DA + Knowledge Transfer
方法：双重师生模型+UDA

开源：https://github.com/jacobzhaoziyuan/MT-UDA
评论：源域半监督+跨域UDA+双重师生模型。叠起来还是挺好的。双循环对位模块用于双向降低域漂移，生成近似源域和近似目标域。

Semi-Supervised Hybrid Spine Network for Segmentation of Spine MR Images

上线时间：2021-09-21
期刊：N/A
链接：https://arxiv.org/abs/2203.12151

临床意义：在3DMRI中，自动分割椎体 (VB) 和椎间盘 (IVD) 对于诊断和治疗脊柱疾病很重要。
工程创新：混合半监督+注意力机制
方法：2D+3D Deeplab + 三重注意力融合

开源：https://github.com/meiyan88/sshsnet

评论：用较长的篇幅解释清楚了怎么完成网络构建。

JCS: An Explainable COVID-19 Diagnosis System by Joint Classification and Segmentation

上线时间：2021-02-18（投稿2020-03-16）
期刊：IEEE TIP
链接：https://ieeexplore.ieee.org/abstract/document/9357961/

临床意义：胸部CT扫描测试为RT-PCR测试提供补充信息，用于感染检查。
工程创新：联合分类和分割 (JCS) 系统来执行实时和可解释的 COVID-19 胸部 CT 诊断。
方法：双路网络。

开源：https://github.com/yuhuan-wu/JCS
评论：写得快，数据集大加上有现实实践真的可以随便做的。

Disentangled Inference for GANs With Latently Invertible Autoencoder

上线时间：2022-03-22（投稿2020-03-16）
期刊：IJCV 2022
链接：https://link.springer.com/article/10.1007/s11263-022-01598-5

工程挑战：生成对抗网络 (GAN) 无法在潜在空间中编码真实样本。we cannot infer the latent variable $z$ corresponding to a given sample $x$ such that the image can be faithfully reconstructed from $z$ by the GAN generator.
方法：潜在可逆自动编码器 (LIA) 。在 LIA 中，可逆网络及其逆映射对称地嵌入自编码器的潜在空间中。LIA 的解码器首先被训练为具有可逆网络的标准 GAN，然后通过将可逆网络从 LIA 中分离出来，从解纠缠的自动编码器中学习编码器。

开源：https://github.com/genforce/lia
评论：对潜在空间的解纠缠的解析使用了VAE来完成，可以视作用VAE来外联GAN。能够对潜在空间解纠缠可以让GAN的生成的定向能力提升。

CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation

上线时间：2021-09-13
期刊：ICCV 2021
链接：https://arxiv.org/abs/2109.06165

工程挑战：基于类别级别的 UDA 的一个基本问题是为目标域中的样本生成伪标签，这些伪标签通常对于准确的域对齐来说过于嘈杂，不可避免地会影响 UDA 的性能。
工程创新：Transformer 中的交叉注意力对嘈杂的输入对具有鲁棒性，可以更好地进行特征对齐。
方法：设计了一种双向中心感知标签算法来为目标样本生成伪标签。除了伪标签之外，还提出了一个权重共享的三分支转换器框架，以分别将自注意力和交叉注意力应用于源/目标特征学习和源-目标域对齐。

开源：https://github.com/cdtrans/cdtrans
评论：构造Transformer来完成UDA，降低伪标签的噪声影响。实验做得一般。

Domain Adaptation Meets Zero-Shot Learning: An Annotation-Efficient Approach to Multi-Modality Medical Image Segmentation

上线时间：2021-11-29
期刊：IEEE TMI
链接：https://ieeexplore.ieee.org/abstract/document/9627926

临床意义：通用意义，标签稀缺（UDA）。数据安全（ZSL）。
工程创新：A+B: Unsupervised DA + Zero-Shot L
方法：先验模型+适应模型

开源：否
评论：用ZSL来只利用从Source Domain学习到的模型，而不需要涉及到Source Domain所使用到的图像。这样避免了UDA在训练时需要Source Data的问题。虽然是A+B式的，但确实有效。

Beyond Mutual Information: Generative Adversarial Network for Domain Adaptation using Information Bottleneck Constraint

上线时间：2021-10-04
期刊：IEEE TMI
链接：https://ieeexplore.ieee.org/abstract/document/9558836

临床意义：临床迁移部署。通用的。
工程创新：A+B: DA + CAD（computer aided diagnosis）
方法：Information Bottleneck Constraint
开源：否

评论：对比实验做得一般，毕竟没有做UDA。是一个img2img的工作。

Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation

上线时间：2021-10-04
期刊：IEEE TMI
链接：https://ieeexplore.ieee.org/abstract/document/9558816

临床意义：通用的标签稀缺，加上比较新的辅助诊断可用的uncertainty。
工程创新：A+B：Uncertainty Estimation + 半监督
方法：双重分割策略。复合网络。
开源：否

评论：uncertainty的使用和实现比较有趣。这个本身是有临床潜力的，可以让医生更注重那些可能有问题的病例。在分割时使用了保守分割策略（更侧重前景）和激进分割策略（更侧重背景的正确）。为达成这一目的，在代价设置上，让不同比例的前景、背景像素具备相同的代价。保守分割和激进分割两者相同为certain，两者不同为uncertian。

Deep Symmetric Adaptation Network for Cross-Modality Medical Image Segmentation

上线时间：2021-08-16
期刊：IEEE TMI
链接：https://ieeexplore.ieee.org/abstract/document/9514499

临床意义：通用的标签稀缺+部署困难。
工程创新：相互适应（？）
方法：复合网络。

开源：暂未开源： https://github.com/ting2696/Deep-Symmetric-Adaptation-Network
评论：Symmetric Adaptation，让源域和目标域相互适应。图1挺有特点。

A Dual Meta-Learning Framework based on Idle Data for Enhancing Segmentation of Pancreatic Cancer

上线时间：2022-03-19
期刊：MIA
链接：https://doi.org/10.1016/j.media.2021.102342

临床意义：小尺寸和不显眼的边界限制了胰腺癌的自动分割性能。由于图像采集和注释的困难，深度学习必须要在训练样本较少的情况下进行。为了缓解由小规模数据集引起的问题，作者从不同的研究中收集了闲置的胰腺癌多参数 MRI，以构建一个相对较大的数据集来增强 CT 胰腺癌分割。
工程创新：双重元学习框架的深度学习分割模型。
开源：否
评论：前置是一个多模态img2img的trans工作用来做数据增强，主要的分割模型是用了共享参数的（中间模态-CT模态）的元学习方法。对比实验做的很多都是baseline，在relate work时也没广泛的描述。结果不显著。

Machine learning and phone data can improve targeting of humanitarian aid

上线时间：2022-03-16
期刊：Nature
链接：https://www.nature.com/articles/s41586-022-04484-9

意义：来自移动电话网络的数据可以提高人道主义援助的针对性。
方法：使用传统的调查数据来训练机器学习算法，以识别手机数据中的贫困模式；然后，经过训练的算法可以优先向最贫困的移动用户提供援助。
结果：突出了新数据源补充传统人道主义援助目标方法的潜力。
开源：https://github.com/emilylaiken/togo-targeting-replication/

评论：机器学习的应用实例，实验规模大感觉确实是nature的先决条件啊。

Instance Importance-Aware Graph Convolutional Network for 3D Medical Diagnosis

上线时间：2022-03-18
期刊：MIA
链接：https://doi.org/10.1016/j.media.2022.102421

临床意义：使用了患者标签，来做临床诊断。
方法：提出了一个实例重要性感知图卷积网络。用了multi-instance learning (MIL)。包括两方面，实例重要性和实例间感知。完成自动诊断任务。
开源：https://github.com/CityU-AIM-Group/I2GCN

方法对比：通过将每个 2D 切片转换为一个实例嵌入，许多工作将 3D 扫描的实例嵌入聚合为 bag embedding，然后进行 bag prediction 以实现对 3D 医疗数据的诊断。这些实例聚合方法无法感知和利用不同实例对诊断的重要性。通过随机删除节点的广泛使用的图增强与 MIL 框架冲突。通过丢弃关键实例（即病变切片），它可能会将 3D 感染扫描更改为负样本，并导致增强样本与其标签之间的不一致。因此，为 MIL 框架量身定制的基于图的增强策略有望实现准确的 3D 医学诊断。

评论：用了图网络确实会容易中期刊。使用了混合3D的MRI和CT图像（来自CC-CCII和PROSTATEx）来证明方法的通用性。一个图分类任务。

Multimodality Imaging to Assess Leaflet Height in Mitral Bioprosthetic Valves: Implications for Mitral Valve-in-Valve Procedure

上线时间：2022-03-16
期刊：JACC:Imaging
链接：https://www.jacc.org/doi/abs/10.1016/j.jcmg.2022.01.010

评论：一个Imaging Vignette。讨论了多模态在二尖瓣修复手术的应用。包括了提取临床指标。可以作为多模态在困难病例上的广泛应用的实例。