#paper doi:10.1089/genbio.2022.0017 GEN Biotechnology, 2022, Deep Learning Concepts and Applications for Synthetic Biology. 这是一篇2022年新出的深度学习与合成生物学的综述，或者我更愿意称之为元综述。文章对深度学习在合成生物学领域的应用做了简要介绍。对合成生物学中可用于深度学习框架的数据做了分类，对深度学习目前常用的结构也做了介绍。最值得一看的是深度学习在合成生物学领域的的应用：比如生物组成的设计与建模、使用生成模型方法合成新的组成、结构预测、视觉应用等等，对于提纲挈领非常有帮助。但是内容不是很具体，这也是我称之为元综述的原因。在每个具体的小节，作者在基本概念的科普之后，一般会指向几篇这个领域更合适的综述。因此，带着自己的方向和问题去看这篇元综述，逐步挖下去，应该会有很好的阅读体验。

#paper https://doi.org/10.48550/arXiv.2205.01529 Masked Generative Distillation ECCV 2022. 这是一篇知识蒸馏的文章，通过类似对比学习的方式去生成特征，从而实现蒸馏。我们知道，知识蒸馏作为一个通用的技巧，已经被用于各类 机器学习任务，在视觉上比如分类、分割、检测等。一般来说蒸馏算法通过使得学生模仿老师特征去提高学生特征的表征能力。但这篇文章提出，学生不用去模仿老师的特征了，干脆自己生成特征好了，即通过对学生特征进行随机遮盖，然后用学生的部分特征去生成老师特征。这样学生特征就具有了较强的表征能力。这个想法很有意思，我打个比方（可能不太合适），就像本来是要学习老师的一举一动，但是现在这个老师不太出现，你不方便直接模仿，那就学生自己通过监督，去盲猜老师的特征什么样的，这样多猜几次，每次都能猜准的时候，说明对这位老师已经很熟悉了，然后说明学生的表征能力就比较强了。通过这个方式，作者在图像分类、目标检测、语义分割、实例分割等多种任务上，在不同数据集不同model的基础上，做了大量实验，发现性能都得到了提升（基本上都有2-3个点的提升，具体数值见文献）。

#paper doi:10.1093/nar/gkac010 Nucleic Acids Research, Volume 50, Issue 8, 6 May 2022, AggMapNet: enhanced and explainable low-sample omics deep learning with feature-aggregated multi-channel networks 基于组学的生物医学数据的学习，通常依赖于高维特征及小样本，而这对于目前的深度学习主流方法而言则是一项挑战。本文首先提出了一种无监督的特征聚合技术AggMap，其作用是基于组学特征的内在固有关联，将组学特征聚合并映射为多通道的二维空间关联特征图（Fmaps）。AggMap在基准数据集上，相较于现有的算法，具有很强的特征重构能力；接着，文章利用AggMap的多通道Fmap作为输入，通过构建多通道深度学习模型AggMapNet，在18个小样本组学基准数据集上取得超过SOTA的性能。而且AggMapNet在噪声数据和疾病分类的问题上展现了良好的鲁棒性。另外，在可解释性方面，AggMapNet的的解释性模块Simply-explainer可以识别COVID19的检测和严重性预测的关键代谢分子和蛋白。 总体上看，文章提出了一个组学小样本数据建模的pipeline：通过无监督算法AggMap的特征重构能力+基于监督信息的可解释的AggMapNet深度学习模型。 几点启发：这个工作将小样本组学数据通过一个pipeline完成学习，我们可以将这个pipeline理解为特征重表示（AggMap）+DL网络（AggMapNet）。我们看到，这个过程不是端到端的，而是充分利用了对特征的重表示，挖掘新的特征空间的表征能力。有点返璞归真的意思，但又考虑到高维性质，不容易手工构造特征，因此在特征部分，用到了很多无监督聚类的方法，比如利用了基于pairwise关联距离的流形学习方法UMAP将组学数据点嵌入二维空间，同时，通过团聚层级聚类方法将组学数据点团聚为多特征簇。有趣的是，这几类方法是已有的通用的无监督算法。感觉基于流形的这类聚类算法，能很好的在保度规的情况下达到降维的效果，提取有效特征，为下游任务服务。对于小样本而言，这类方法的效果似乎是比较不错的。那么一个想法是，能不能利用生成的方式，合成数据，然后learning的方式去构建这个embedding表示，再去做下游任务？有点想试试看，不过考虑到在18个基准数据集上做pk，多少有点心累

#paper doi:10.1016/j.tics.2021.11.008 Trends in Cognitive Sciences, Vol 26, Issue 2, 2022, Next-generation deep learning based on simulators and synthetic data. 目前的主流的深度学习应用主要利用了监督学习的技术，但这需要大量的有标注的数据，考虑到获取大量有标注数据的困难（经济上、效率上），这就成为了深度学习发展的瓶颈。为了解决这个问题，一个有可能的解决方案是充分利用合成数据。本文就综述了这一主题的情况。文章将合成数据的来源分为了三种类型，分别是渲染方式下产生的，简单的说就是在各类建模渲染过程中产生的；各类生成模型产生的；融合模型产生的。再具体一点，第一类是模拟建模过程产生的，其具有较好的物理背景和流程；第二类是各类具有统计背景的生成模型基于对数据的分布进行的估计产生的；第三类则是将不同的domain的数据进行融合产生的，比如将前景域和背景域做各种融合。当然，考虑到合成数据和真实数据还存在很多gap，因此类似域适配这样的技术也在不断发展，使得合成数据更好的被使用。除此之外，这些合成数据的生成方案，大量借鉴了人类自然学习的模式，因此也促成了双向发展的趋势。即，数据合成的方案上不断借鉴自然学习的各种特点，而数据合成的研究也不断反向推动生物系统的各种性质的理解。最后，文章总结了利用合成数据进行科学探索、物理学研究、多模态学习等领域的特点及相关挑战，这一块的内容非常精炼，对相关主题感兴趣的小伙伴可以通过参考文献进行扩展，非常有价值的研究线索。

#paper https://doi.org/10.48550/arXiv.1907.05600 Generative Modeling by Estimating Gradients of the Data Distribution NeurIPS 2019 (Oral) (2019). 继续生成模型啊，这篇文章作者提出了一种基于评分的生成模型。我们知道现在主流的生成模型基本可以分为likelihood-based和类似GAN那样通过对抗而不计算具体的概率密度函数的隐式模型。前者的代表如VAE、normalizing flow等。而本文的模型也属于这个范畴。在这类模型中，由于需要对条件概率进行积分，归一化常数Z的计算非常困难，因此派生出各类解决方法。本文其核心思想是通过对概率密度的梯度进行建模估计（准确来说是对log概率密度函数）。这里的log概率密度函数的梯度被定义为score function，而作者也是通过评分匹配(score matching)进行估计的。在生成模型建立之后，进而通过Langevin动力学进行采样，即生成样本。部分细节还在推，代码也在复现中，感觉是一类比较有效的生成模型，生成图片的质量较高，改进版本已经可以和GAN的生成质量一较高下。但目前最大的问题是废卡，非常废卡，希望后面自己可以在如何提高其训练效率及抽样效率上做一些工作。

#paper https://doi.org/10.48550/arXiv.1503.03585 Deep Unsupervised Learning using Nonequilibrium Thermodynamics ICML (2015). 这是一篇还没完全看懂的论文，但是非常有意思。说起这篇文章的扩散模型大家一不定熟悉，但是提到最近大火的openai的工作dall-e 2，大家可能会更熟悉一点。对，Dall-E 2最早的启发就是这篇文章。本文受非平衡热力学的启发，设计了一个称之为扩散模型（diffusion model）的生成模型。我们知道，在机器学习中，对一堆数据的分布进行估计是一个极具挑战的事情。特别是要兼顾模型的灵活性(flexible)和过程的可解性(tractable)。如果把建模隐变量z到观测量x的映射作为任务，那么扩散模型的想法是， 假设整个映射是一个马尔科夫链（MC），然后数据的初始状态是由一步步不断添加高斯噪声，最终获得某种最终形态，那么反过来，可以将去噪的过程看做是生成的过程。我们针对这个MC过程进行训练，那么逆过程则可以作为生成模型生成符合分布的数据。是的，很像VAE。考虑到这类生成模型通过不断的改进，已经达到Dall-E 2的效果，值得我们深入理解背后的机制，以及是否可以在数据合成上产生更好的效果。

#paper doi:10.1109/CVPR.2015.7298682, 2015, FaceNet: A unified embedding for face recognition and clustering. 这是一篇人脸检测领域的经典论文。Google写的，发在2015年的CVPR上。在LFW数据集上刷到99.63%的分数，在YouTube Faces DB上也刷到95.12%，当时的SOTA。虽然讲的是人脸检测，但其思想适合于非常多的场景，包括各类图像识别问题，自然语言处理问题等。文章引入了一套端到端的训练方式，直接对嵌入空间进行建模。其想法非常直接，即通过嵌入空间建模，将每张人脸映射到嵌入空间的一个点。在这样的嵌入下，相同id的人脸应该接近，而不同id的人脸应该远离，那么这样的嵌入方式，可以理解成一个特征处理器，从而对后续人脸检测、识别、聚类等动作做出高效的预先计算。网络结构部分比较简单，主要用的是当时还很新鲜的inception网络，有趣的是它的loss，文章引入了triplet loss的概念，即anchor-pos对，anchor-neg对进行距离计算。其中anchor为某id对应图片，pos为该id对应的其它人脸图片，neg为非该id的人脸图片。思想很简单，就是通过训练，让anchor-pos对的距离很小，anchor-neg对的距离很大。这里的loss在数学上，就表示为anchor-pos对的距离-anchor-neg对的距离+alpha。这里的alpha可以理解为一个约束，其将同一个id的脸约束在一个流形上且保度规。当然，在实践训练中，triplet的选择也很重要，有兴趣的可以看paper。虽然文章比较老，所用的网络结构也很老，但是其简单的思想，有效的结果都给后续的很多识别工作，不论是研究还是工业实战层面带来巨大的启发。比如做word2vec的小伙伴肯定会心有戚戚焉。

#paper doi: 10.7554/eLife.58906 Anna A Ivanova, et al. Comprehension of computer code relies primarily on domain-general executive brain regions. eLife 2020;9:e58906(2020). 这是我在看一本编程小册子的时候作者引的一篇神经科学的研究工作。文章探讨了编程作为一项认知活动，到底是什么认知与神经机制在支撑它？研究者用fMRI技术对两类大脑系统进行了考察：1. multiple demand (MD) system；2. language system。 前者在数学、逻辑、解决问题中被常使用；后者在语言处理中被常使用。作者使用python和ScratchJr两种编程方式（基于文本的和基于图形界面的）进行编码和进行句子的内容匹配。他们发现MD系统在两种编程方式中，对编码活动都有强烈的反应；语言系统则只对句子的内容匹配有强烈的反应，对编码活动的反应很弱。当然这就一定程度上说明了编程活动是一项类似问题解决或者数学解题这样的认知活动。虽然编码很多时候是文字的形式，我们也习惯说编程语言，但处理它的大脑认知机制从实验上来看，似乎并不对应于常规的语言处理。

#paper doi:10.1038/nature14539 LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015). 这是深度学习三巨头于2015年写的一篇nature综述。也是nature纪念AI60周年的一系列综述paper里的一篇。这篇paper综述了深度学习这一热门主题。当然，作为深度学习的几位奠基人，确实把深度学习的概念原理应用写的深入浅出。本文从监督学习一直介绍到反向传播，主要综述了CNN和RNN的原理及其应用，很适合初学者全面了解（当时）的深度学习的概貌。在最后一段深度学习的未来一节，作者对无监督学习的未来报以热烈的期望，看看这几年，特别是yann lecun大力推动的自监督成为显学，也算是念念不忘必有回响了。

#paper doi:10.1038/s41416-020-01122-x Deep learning in cancer pathology: a new generation of clinical biomarkers. British Journal of Cancer, 2020 Nov 18. 这是一篇综述，综述了一下深度学习从病理图像直接抽取biomarker的相关概念，以及病理图像中利用深度学习做的各种基本的和进阶的图像分析任务。 我们知道，在肿瘤的临床治疗中会基于各种分子生物标记物。但这些分子标记物都比较耗时费力。而且一般而言，这些分子标记物都需要tumour tissue。 但其实tumour tissue上有很多信息我们现在都没好好利用。利用深度学习，我们可以直接从常规病理图像中提取更多信息。从而提供潜在的具有临床价值的信息。 里面介绍的基本任务包括：检测、评级、tumour tissue亚型预测。这些任务的目的是自动化病理诊断流程，但结论不形成直接的临床决策。（辅助诊断呗）。 进阶任务可直接影响临床决策：比如分子特性推断、生存率预测、端到端的疗效预测。这些任务都可以直接影响临床决策，但目前需要更好的临床验证。比如需要更多前瞻性实验的验证。（就是还不能用呗）。