来自杂志 Nature Machine Intelligence 的文献。
当前共找到 3 篇文献分享。
1.
尹志
(2024-07-31 15:46):
#paper Machine learning-aided generative molecular design, nature machine intelligence, DOI: 10.1038/s42256-024-00843-5. 文章综述了生成模型做分子设计领域的情况。从表征、生成方法和优化策略层面进行了总结，特别清楚。感兴趣的同学可以直接看文章里的几张表格，作为了解该领域发展情况及切入研究问题非常有帮助。
Abstract:
No abstract available.
2.
李翛然
(2024-02-28 18:11):
#paper A computational framework for neural network-based variational Monte Carlo with Forward Laplacian doi: https://doi.org/10.1038/s42256-024-00794-x 北大和字节跳动合作的文章，关注是因为一直在看计算化学领域的一些新进展。字节跳动和北京大学团队共同研究，针对神经网络变分蒙特卡罗（NN-VMC）在处理大规模量子系统时计算成本高的问题。
2. 研究团队创新性地提出了“Forward Laplacian”计算框架，通过前向传播直接高效计算神经网络相关拉普拉斯部分，显著提升NN-VMC计算效率。
3. 他们还设计了名为“LapNet”的高效神经网络结构，利用Forward Laplacian优势，大幅减少了模型训练所需的计算资源。
4. 结合Forward Laplacian和LapNet的NN-VMC方法在多种化学系统中展现出优越的性能，可准确计算绝对能量和相对能量，与实验数据和金标准计算方法吻合度高。
5. 尽管已有显著进步，但团队指出，未来还需要将更多化学和物理知识融入NN-VMC方法中以解决部分应用场景中的差异问题，同时Forward Laplacian有望在更广泛的量子力学及基于神经网络的偏微分方程求解领域发挥作用。
3.
林海onrush
(2023-01-31 22:08):
#paper https://www.nature.com/articles/s42256-022-00569-2，Deep transfer operator learning for partial differential equations under conditional shift，“迁移学习「求解」偏微分方程，条件偏移下PDE的深度迁移算子学习",来自美国布朗大学和约翰斯·霍普金斯大学（JHU）的研究人员提出了一种新的迁移学习框架，用于基于深度算子网络 (DeepONet) 的条件转移下的任务特定学习（偏微分方程中的函数回归）。由于几何域和模型动力学的变化，研究人员展示了该方法在不同条件下涉及非线性偏微分方程的各种迁移学习场景的优势。尽管源域和目标域之间存在相当大的差异，但提出的迁移学习框架能够快速高效地学习异构任务。该研究发布在《Nature Machine Intelligence》上。深度学习已经成功地应用于模拟偏微分方程（PDE）描述的计算成本很高的复杂物理过程，并实现了卓越的性能，从而加速了不确定性量化、风险建模和设计优化等众多任务。但此类模型的预测性能通常受到用于训练的标记数据的可用性的限制。在许多情况下，收集大量且足够的标记数据集在计算上可能很棘手。此外，孤立学习（即为独特但相关的任务训练单个预测模型）可能非常昂贵。为了解决这个瓶颈，可以在称为迁移学习的框架中利用相关领域之间的知识。在这种情况下，来自在具有足够标记数据的特定域（源）上训练的模型的信息可以转移到只有少量训练数据可用的不同但密切相关的域（目标）。由于缺乏针对特定任务的算子（operator）学习和不确定性量化的 TL 方法，在这项工作中，研究人员提出了一个使用神经算子在条件转换下高效 TL 的新框架。
在这项工作中，研究人员采用了更通用的深度神经算子 (DeepONet)，它使我们能够充分学习算子，从而对任意新输入和复杂域执行实时预测。重要的是，所提出的迁移学习框架能够在标记数据非常有限的领域中识别 PDE 算子。这项工作的主要贡献可归纳如下：
提出了一种新的框架，用于在深度神经算子的条件转移下迁移学习问题。
所提出的框架可用于快速高效的特定于任务的 PDE 学习和不确定性量化。
利用 RKHS 和条件嵌入算子理论的原理来构建新的混合损失函数并对目标模型进行微调。
所提出框架的优点和局限性通过各种迁移学习问题得到证明，包括由于域几何、模型动力学、材料特性、非线性等变化引起的分布变化。
Abstract:
Transfer learning enables the transfer of knowledge gained while learning to perform one task (source) to a related but different task (target), hence addressing the expense of data acquisition and …
>>>
Transfer learning enables the transfer of knowledge gained while learning to perform one task (source) to a related but different task (target), hence addressing the expense of data acquisition and labelling, potential computational power limitations and dataset distribution mismatches. We propose a new transfer learning framework for task-specific learning (functional regression in partial differential equations) under conditional shift based on the deep operator network (DeepONet). Task-specific operator learning is accomplished by fine-tuning task-specific layers of the target DeepONet using a hybrid loss function that allows for the matching of individual target samples while also preserving the global properties of the conditional distribution of the target data. Inspired by conditional embedding operator theory, we minimize the statistical distance between labelled target data and the surrogate prediction on unlabelled target data by embedding conditional distributions onto a reproducing kernel Hilbert space. We demonstrate the advantages of our approach for various transfer learning scenarios involving nonlinear partial differential equations under diverse conditions due to shifts in the geometric domain and model dynamics. Our transfer learning framework enables fast and efficient learning of heterogeneous tasks despite considerable differences between the source and target domains.
<<<
翻译