#paper 10.1109/TMI.2022.3174827 PTNet3D: A 3D High-Resolution Longitudinal Infant Brain MRI Synthesizer Based on Transformers 最近看了一些基于GAN的医学图像生成的文章（当然现在的热点都转向diffusion model了），感觉都很没有创意，有点无聊，并且都存在一些共性问题。第一，纵向婴幼儿图像生成算法仅仅是通过在每个年龄段训练模型来构建，完全可以把年龄作为条件直接生成；第二，为了缓解数据维度高且数据量小的问题，大多数这类生成算法都基于slice或者patch的生成方式，不可避免的会导致生成图像的不连续性，而且基本上所有文章都没解决这个问题。在我的新工作（不是单纯的图像生成任务）里，这些问题都得到了重视并予以解决，估计年后会release预印本出来，敬请期待。

#paper https://doi.org/10.48550/arXiv.2308.01316 Patched Denoising Diffusion Models For High-Resolution Image Synthesis 最近在研究如何使用生成模型将脑分割图像映射回T1w/T2w图像，不过大多数医学图像生成算法都是基于patch的，然后将patch在体素空间拼回，但是这样的方法会出现边界不连续的现象。这篇文章提出用patch训练扩散模型，并在特征空间中消除边界效应。因此最近在尝试如何将这个方法应用于我的工作里。最近在做的工作是在全年龄段上构建脑模板图像，有机会可以和大家讲一讲这方面的工作。

#paper https://www.biorxiv.org/content/10.1101/2023.09.15.557874v1.full SACNet: A Multiscale Diffeomorphic Convolutional Registration Network with Prior Neuroanatomical Constraints for Flexible Susceptibility Artifact Correction in Echo Planar Imaging 这是我最近released的一个工作。由于回波平面成像技术成像（EPI）速度较快，因此弥散磁共振成像和功能磁共振成像大都会采用EPI技术进行影像采集工作。但是EPI图像中一般会存在磁敏感性伪影（Susceptibility Artifacts, SAs）,从而会导致采集的影像存在几何和信号上的扭曲。目前的伪影校正算法一般是针对特定采集序列的图像开发专门的方法，并且存在处理时间较长且校正质量有限等问题。因此，在这个研究中，我提出了一个基于无监督学习的卷积配准网络的伪影校正框架，该框架有以下几点技术创新：1. 我们建立了一个统一的数学框架，通过修正模型超参数，从而可以灵活地用于多相位编码和单相位编码数据的校正；2. 我们通过修改核物理领域内用于模拟无限深势阱的Woods-Saxon势函数，从而提出了一个微分同胚保持函数，用于生成微分同胚形变场；3. 我们设计了一个先验解剖学信息约束函数，从而将没有伪影的T1w/T2w图像中的先验结构信息纳入模型中；4. 我们最后针对该问题设计了一套多尺度的训练及推理协议用于网络的快速训练并优化模型收敛。通过在涵盖新生儿、儿童以及健康成年人的2000个脑影像扫描数据上实验证明，我们的方法比现有的方法表现出更加优异的性能。

#paper Brain Templates for Chinese Babies from Newborn to Three Months of Age doi: https://doi.org/10.1101/2023.06.05.543553 港中文最近挂在bioRxiv的一篇中国婴幼儿脑模板的文章，不过年龄范围局限在0-3月龄，图像质量不是很高。而且受限于脑影像预处理算法的问题，他们构建出来的婴幼儿分月龄模板比较粗糙，还不够精细。不过这也是没有办法的事，一方面是婴幼儿脑影像的数据采集确实是比较麻烦的事，另一方面针对早期发育阶段的婴幼儿脑影像处理算法也比较少，近期开源的也只有UNC那边开源的刚开始用起来。总之这个领域在国内还比较新。

#paper doi: https://doi.org/10.48550/arXiv.2112.05149 DiffuseMorph: Unsupervised Deformable Image Registration Using Diffusion Model 形变图像配准是医学成像的基本任务之一。经典的配准算法通常需要较高的计算成本进行迭代优化。尽管基于深度学习的图像配准方法已被用于快速图像配准，但要获得从运动图像到固定图像的真实连续形变且拓扑折叠较少，仍然是一个挑战性的问题。为解决这个问题，本文提出一种新的基于扩散模型的图像配准方法DiffuseMorph。DiffuseMorph不仅可以通过反向扩散生成合成的变形图像，而且可以通过变形场进行图像配准。具体来说，形变场由运动图像和固定图像之间的形变的条件得分函数生成，通过简单缩放得分的潜在特征即可从连续形变中进行配准。在2D人脸和3D医学图像配准任务上的实验结果表明，该方法可以提供灵活的形变和拓扑保持能力。

#paper Denoising Diffusion Probabilistic Models. doi: https://doi.org/10.48550/arXiv.2006.11239 大名鼎鼎的DDPM模型，算法结构出奇的简单，分为前向加噪过程和反向去噪过程。前向加噪过程是通过在多个时间步里加小噪声，反向去噪过程则在每一个时间步上通过网络学习噪声分布去掉噪声。通过一长串的公式推导，其最终的损失函数相当的简单，就是个mse。看起来就像是很多个VAE叠加在一起。DDPM的一个缺点就是采样步长很长，通常需要1000步以上；而之后提出的DDIM模型将这个采样步长缩小到了50步左右，而这个效果是通过牺牲生成样本多样性实现的。DDIM模型通过一个叫做飘逸扩散方程的模型（这个模型在行为决策等研究中常常被采纳）来解释其原理。原本的DDPM模型其实只有漂移扩散方程中的扩散部分，而DDIM模型则加上了漂移的部分，可以将模型往数据采样密度较高的地方去靠近。

#paper DOI:https://doi.org/10.48550/arXiv.2304.00217 DrDisco: Deep Registration for Distortion Correction of Diffusion MRI with single phase-encoding 弥散加权磁共振成像(DW-MRI)是一种对人脑白质束进行无创成像的方法。dw - mri通常采用高梯度回波平面成像(echo-planar imaging, EPI)获得，会引入严重的几何畸变，影响进一步的分析。大多数校正失真的工具需要两张不同相位编码方向获取的最小加权DW-MRI图像(B0)，处理每个受试者可能需要数小时。由于大量扩散数据仅在单一相位编码方向下获取，现有方法的应用受到限制。本文提出一种基于深度学习的配准方法，仅使用从单一相位编码方向获得的B0来纠正失真。通过一个深度学习模型，将未失真的t1加权图像与失真的B0图像进行配准，以消除失真。在训练过程中应用可微的互信息损失来改善模态间对齐。在Human Connectome Project数据集上的实验表明，所提出的方法在多个指标上优于SyN和VoxelMorph，且处理一个受试者只需几秒钟。

#paper Pancreatic Cancer Detection on CT Scans with Deep Learning: A Nationwide Population-based Study https://doi.org/10.1148/radiol.220152 正好最近要写一篇和医院合作的腹腔影像的论文，所以最近看了一些这方面的论文。这篇论文的合作者回顾性收集了2006年1月至2018年7月期间诊断为胰腺癌的患者的对比增强CT研究与2004年1月至2019年12月期间获得的正常胰腺个体(对照组)的CT研究进行了比较。开发了包含分割卷积神经网络(CNN)和集成五个CNN的分类器的端到端工具，并在内部测试集和全国范围内的验证集中进行了验证。546例胰腺癌患者(平均年龄65岁6 12岁[SD]，男性297例)和733例对照者随机分为训练组、验证组和测试组。在内部测试集中，DL工具达到89.9% (98 / 109;95% CI: 82.7, 94.9)敏感性95.9% (141 / 147;95% CI: 91.3, 98.5)特异性(受试者工作特征曲线下面积[AUC]， 0.96;95% CI: 0.94, 0.99)，敏感性与原始放射科医生报告相比无显著差异(P = 0.11) (96.1% [98 / 102];95% ci: 90.3, 98.9)。在台湾各机构的1473个真实CT研究(669个恶性研究，804个对照研究)的测试集中，DL工具区分CT恶性研究和对照研究的准确率为89.7%(669个中的600个;95% CI: 87.1, 91.9)敏感性和92.8%特异性(746 / 804;95% ci: 90.8, 94.5) (auc, 0.95;95% CI: 0.94, 0.96)， 74.7% (68 / 91;95% CI: 64.5, 83.3)对小于2cm的恶性肿瘤的敏感性。

#paper Growth charts of brain morphometry for preschool children https://doi.org/10.1016/j.neuroimage.2022.119178 从1到6岁的大脑发育确定了广泛的功能能力，并带有神经发育障碍的早期迹象。然而，目前缺乏描述大脑形态变化和进行个性化推断的定量模型，阻碍了这一时期早期大脑非典型性的识别。通过285个样本，我们描述了神经功能正常儿童皮层厚度和皮层下体积的年龄依赖性，并构建了学龄前儿童所有大脑区域的定量生长图表。大部分脑区的皮质厚度随年龄的增加而减小，而内嗅区和海马旁区则呈现出倒u型的年龄依赖关系。与皮层厚度相比，皮层下区域的归一化体积变化趋势更为发散，有的区域增大，有的区域减小，有的区域呈倒u型变化趋势。所有大脑区域的生长曲线模型在识别大脑非典型性方面显示出效用。生长曲线的百分位数测量有助于识别发育性言语和语言障碍儿童，其准确率为0.875。该结果填补了关键发育时期脑形态测量学的知识空白，并为个性化的脑发育状态评估提供了一条途径，具有良好的敏感性。

#paper doi:https://doi.org/10.1016/0730-725X(90)90056-8 Simulation of the influence of magnetic field inhomogeneity and distortion correction in MR imaging. 这篇论文比较老了，1990年发表的。作者在这篇论文中描述了一个用于模拟和校正由静态和梯度磁场中干扰MRI体素位置和信号编码的技术。数学原理其实不复杂，主要思想就是确定映射到目标图像的某个体素左右邻边在源图像上的位置，从而确定在源图像上体素的采样范围，根据线性插值的方法对采样范围内的体素进行加权。本来我想把这个模型用到我自己的工作中，但是思考了好几天发现这个过程貌似无法在模型中传递梯度，遂作罢。

#paper doi:https://doi.org/10.1038/s41592-022-01703-z Multifaceted atlases of the human brain in its infancy 脑图谱是整合、处理和分析从不同个体、来源和尺度收集的大脑特征的空间参考。这篇发表于nature methods的文章介绍了一组关于脑皮层-脑体积的联合脑图谱，以时空密集的方式绘制了从两周到两岁的人脑产后发育轨迹。这套特异性图谱捕捉了早期大脑发育的关键特征，因此有助于识别正常发育轨迹的异常。这些图谱将促进绘制婴儿大脑的不同特征，从而为精确量化皮层和皮层下变化提供一个共同的参考框架，从而增强我们对早期结构和功能发展的理解。

#paper http://dx.doi.org/10.1016/j.media.2015.04.005 Construction of 4D high-definition cortical surface atlases of infants: Methods and applications 在神经影像学中，皮层表面图谱在空间归一化、分析、可视化以及个体和不同研究结果的比较中发挥着重要作用。然而，现有的为成人创建的皮层表面图谱并不适合出生后头两年的婴儿大脑，这是出生后高度折叠的大脑皮层结构和功能发育最活跃的时期。因此非常需要婴儿时期的大脑皮层表面的时空图谱集，但目前仍缺乏精细的早期动态脑发育图谱。为了弥补这一重大差距，作者利用团队开发的婴儿皮层表面分析计算管道和自己获得的纵向MRI数据集，基于35名健康婴儿的202个系列MRI扫描，构建了第一个时空(4D)高清皮层表面地图集，用于七个时间点的动态发育研究，包括1、3、6、9、12、18和24个月龄。

#paper http://dx.doi.org/10.1016/j.neuroimage.2017.07.008 Quicksilver: Fast predictive image registration – A deep learning approach 介绍了一种快速变形图像配准方法——Quicksilver。图像对的配准通过直接基于图像外观的变形模型的patch-wise预测工作。采用深度编码器-解码器网络作为预测模型。虽然预测策略是通用的，但作者主要关注大变形Diffeomorphic Metric Mapping (LDDMM)模型的预测。具体地说，作者预测了LDDMM的动量参数化，这促进了patch-wise预测策略，同时保持了LDDMM的理论性质，如保证微分同胚映射以获得足够强的正则化。作者还提供了预测网络的概率版本，可以在测试期间进行采样，以计算预测变形的不确定性。最后，作者引入了一种新的修正网络，它大大提高了现有预测网络的预测精度。

#paper doi:https://doi.org/10.1101/251512 Unbiased construction of a temporally consistent morphological atlas of neonatal brain development 这是UCL一名已毕业的博士在博士期间做的新生儿脑模板构建的工作，但是一直没有见刊，至今还挂在bioRxiv上。为构建无偏的脑模板，作者首先通过成对的线性配准寻找公共空间，在这个全局配准阶段，模板构建算法可以暂时忽略全局的形状变化，而专注于局部的形变。其次，作者介绍了一个快速且无偏的配准算法。最后，作者利用kernel regression的方法分配每个被试的权重，用于生成对应孕周的脑模板。

#paper doi:https://doi.org/10.48550/arXiv.2202.03563，Aladdin: Joint Atlas Building and Diffeomorphic Registration Learning with Pairwise Alignment 图谱构建和图像配准是医学影像分析中的重要任务，但是图谱估计和无参形变的计算需要极高的计算代价。此外，以前的图谱构建方法通常计算模糊图谱和每个单独的图像之间的相似度驱动模型优化，这可能会增加预估的图谱和个体图像之间配准的难度，因为预估的模糊图谱相比个体图像不具有更清楚的解剖结构。这篇文章基于forward model从多个角度约束了图谱的生成空间，并做了充足的理论分析。但是由于模型较为复杂，并且涉及所有图像的同时优化，所以不太适合3d图像数据，目前还只是在2d图像数据上做实验。

#paper https://doi.org/10.1016/j.media.2020.101939 Image registration: Maximum likelihood, minimum entropy and deep learning 这篇文章系统的整理了基于信息理论的配准算法，并构建了一个基于极大似然估计的信息论框架囊括了成对配准算法和组配准算法。核心内容没有很多，就是废话有点多。

#paper FactorVAE: A Probabilistic Dynamic Factor Model Based on Variational Autoencoder for Predicting Cross-sectional Stock Returns. 2022年发表于AAAI。 这篇文章通过融合动态因子模型和变分自编码器预测横断面股票收益。最近的研究表明，动态因子模型比静态因子方法能够获得更好的资产定价性能，因此动态因子模型越来越受欢迎。但是目前基于机器学习的因子学习模型会面临一个非常重要的问题，那就是股票数据的低信噪比。股票数据中大量的噪声会干扰因子的提取，从而导致模型提取因子的效果不佳。这篇文章通过引入变分自编码器提取隐含的因子分布，同时建模因子预测收益的风险。

#paper https://doi.org/10.1016/j.neuroimage.2022.119297. A deep learning-based multisite neuroimage harmonization framework established with a traveling-subject dataset. 分享一篇师弟与我合作发表的工作。多中心效应在不同的研究领域都是一件非常难解决的问题，比如在脑磁共振成像研究中观察到的显著效应及其得出的结构功能特征在不同中心的数据上会得出不一致的结果。这篇文章提出了一个深度学习框架，利用特征解耦的建模方式分离与脑结构无关的站点特征和仅与脑结构有关的生物特征。这个方法可以显著消除灰质图的中心差异，并且编码器部分有效的编码了与站点效应有关的抽象特征以及与大脑结构有关的特征。

#paper 10.1109/TMI.2021.3116879. SynthMorph: Learning Contrast-Invariant Registration Without Acquired Images. 这篇文章很漂亮的展现了如何用神经网络直接暴力学习度量。多模态配准一直是一个领域难题，各路大佬们提出了大量的方法度量两个不同模态图像之间的相似性。这篇文章作者想了一个很直接的点子，就是我直接根据分割的label构造具有不同contrast的图像对网络进行训练就好了呀，至于loss怎么设计就直接测量配准前后两个label的相似性就好了，这样网络自己就学习到了如何测量不同模态间图像的相似性。这篇文章我感觉像是自监督，毕竟就是自己通过设计某种规则寻找数据自己内蕴的规律，进一步我在想配准任务是否能够作为医学影像任务的预训练模型呢，毕竟既然两个图像能够很好的对齐的话，那说明网络能够检测到两张图像之间需要对齐的解剖结构，本质上也就是学习到更general的图像特征表征图像自身的结构了。

#paper https://doi.org/10.1016/j.neuroimage.2021.118799. Longitudinal brain atlases of early developing cynomolgus macaques from birth to 48 months of age. 2022年发表于neuroimage。这篇研究和《A 4D infant brain volumetric atlas based on the UNC/UMN baby connectome project (BCP) cohort》这篇研究差不多，用的方法基本上是一样的。只不过研究对象换成了48月龄以前的食蟹猴。这里面强调了一个问题，就是在做纵向配准的时候，不能直接将年龄跨度差异较大的两个大脑直接进行配准，应当一步一步地在相邻年龄上的图像进行配准，这样能够最大程度的保证解剖结构在整个发育轨迹上的一致性。