响马读paper

一个要求成员每月至少读一篇文献并打卡的学术交流社群

本页面显示由用户 张德祥 推荐的文献。 当前共有 43 篇文献,本页显示第 1 - 20 篇。

1.
2022, arXiv. DOI: 10.48550/arXiv.2203.11740 arXiv ID: 2203.11740
2023-05-16 08:14:00
#paper https://doi.org/10.48550/arXiv.2203.11740 我们可以把我们的大脑想象成是地球,地心熔岩的产生如同在海马体的短期记忆的发生,过程是量子的;地表的地震因为势能释放,选出强的短期记忆成为长期记忆存储在不同皮层的记忆印记细胞能被释放。 AI+脑科学+量子力学的结合。我们提出了PNN,但它不仅仅是简单的时间序列模型。 除了突触连接的共享权重,我们提出了新的神经网络包括突触有效范围权重也会进行前向和反向计算。而且很多仿真是RNN无法实现的。 正向和负向记忆的大脑塑性是量子的并产生短期记忆,并且波函数展现出在一段时间表现出指数衰减,在海马体里产生。而指数衰减是因为壁垒,壁垒可能和星形胶质细胞有关。工作记忆的大脑塑性在大脑流动从海马体到不同皮层通过方向导数。强的工作记忆的大脑塑性转变成长期记忆也就是最大的方向导数,而最大的方向导数就是梯度。这样长期记忆是工作记忆的大脑塑性的梯度。短期记忆变成长期记忆的过程,也就是非经典力学变成经典力学的过程。 PNN的仿真符合了6篇正刊、6篇子刊和1篇物理顶刊的脑科学实验和假设。 更多可以参考: https://mp.weixin.qq.com/s/k-KD1KcQo9FiYcQvSypBjQ
2.
2023, arXiv. DOI: 10.48550/arXiv.2302.10051 arXiv ID: 2302.10051
2023-04-16 11:20:00
#paper https://doi.org/10.48550/arXiv.2302.10051 一种用于理解神经计算算法基础的既定规范方法是从原则计算目 标中导出在线算法, 并评估它们与解剖学和生理学观察的兼容性。 相似性匹配目标已成为成功导出在线算法的起点, 这些算法映射到具有点神经元和 Hebbian/anti‐Hebbian 可塑性的神经网络 (NN)。这些神经网络模型解释了许多解剖学和生理学观察; 然而, 这些目 标的计算能力有限, 并且派生的 NN 无法解释在整个大脑中普遍存在的多隔室神经元结构和非赫布形式的可塑性。在本文中, 我们回顾并统一了相似性匹配方法的最新扩展, 以解决更复杂的目 标, 包括范围广泛的无监督和自 监督学习任务, 这些任务可以表述为广义特征值问题或非负矩阵分解问题。有趣的是, 源自这些目 标的在线算法自 然地映射到具有多隔室神经元和局部非赫布学习规则的神经网络。 因此, 这种相似性匹配方法的统一扩展提供了一个规范框架, 有助于理解整个大脑中发现的多区室神经元结构和非赫布可塑性。
3.
2022, bioRxiv. DOI: 10.1101/2022.05.17.492325
2023-03-20 10:45:00
#paper doi: https://doi.org/10.1101/2022.05.17.492325 Inferring Neural Activity Before Plasticity: A Foundation for Learning Beyond Backpropagation 超越GPT需要从更底层的技术改进,BP是深度学习的核心,生物算法比BP更高效,生物算法是超越BP的一个途径,这篇论文给出了很好的解释及后续论文有一些实验及算法,效率已经可以匹配BP,仍然有更多的优点, 更多可以参考 https://mp.weixin.qq.com/s/lPzGvY6oOnwzVgxDr9ePpA
4.
2018, arXiv. DOI: 10.48550/arXiv.1806.08053 arXiv ID: 1806.08053
2023-03-12 09:48:00
#paper https://doi.org/10.48550/arXiv.1806.08053 Semantic information, autonomous agency, and nonequilibrium statistical physics 论文尝试通过反事实对语义信息进行定义,通过个体跟环境的物理系,热力学的信息交换来实现,但后续工作不多,和自由能框架有些接近,
5.
2022, arXiv. DOI: 10.48550/arXiv.2210.15889 arXiv ID: 2210.15889
2023-02-10 20:03:00
#paper https://doi.org/10.48550/arXiv.2210.15889 Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing 神经符号计算 (NeSy) 追求认知的符号和统计范式的整合,多年来一直是人工智能 (AI) 的活跃研究领域。由于 NeSy 有望调和符号表示的推理和可解释性优势以及神经网络中的稳健学习,它可能会成为下一代 AI 的催化剂。在本文中,我们系统地概述了 NeSy AI 研究的重要和最新进展。首先,我们介绍了这一领域的研究历史,涵盖了早期的工作和基础。我们进一步讨论背景概念并确定 NeSy 发展背后的关键驱动因素。之后,我们根据强调该研究范式的几个主要特征对最近具有里程碑意义的方法进行了分类,包括神经符号整合、知识表示、知识嵌入和功能。然后,我们简要讨论现代 NeSy 方法在几个领域的成功应用。最后,我们确定了未解决的问题以及潜在的未来研究方向。这项调查有望帮助新的研究人员进入这个快速发展的领域,并加速向数据和知识驱动的 AI 迈进。
6.
2022, arXiv. DOI: 10.48550/arXiv.2212.12393 arXiv ID: 2212.12393
2023-01-06 18:42:00
#paper https://doi.org/10.48550/arXiv.2212.12393 A-NeSI: A Scalable Approximate Method for Probabilistic Neurosymbolic Inference 这篇论文受GFlownet启发,首次在MNIST ADD的训练上达到了 15位数的加法训练,人造算数天才指日可待。结合神经网络和符号计算 。
7.
2020, Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. DOI: 10.24963/ijcai.2020/243
2023-01-03 19:36:00
#paper https://doi.org/10.24963/ijcai.2020/243 NeurASP: Embracing Neural Networks into Answer Set Programming 通过将神经网络输出视为答案集程序中原子事实的概率分布, NeurASP  提供了一种简单有效的方法来集成子神经网络和符号计算。 推理可 以帮助识别违反语义约束的感知错误,这反过来可以使感知更加稳健。例如, 用于对象检测的神经网络可能会返回一个边界框及其分类“汽车”,但可 能不清楚它是真车还是玩具车。可以通过应用关于与周围物体的关系的推 理和使用常识知识来进行区分。或者当不清楚附着在汽车上的圆形物体是 轮子还是甜甜圈时,推理者可以根据常识得出结论,它更有可能是轮子。
8.
2022, PLOS ONE. DOI: 10.1371/journal.pone.0277199
2022-12-14 19:10:00
#paper https://doi.org/10.1371/journal.pone.0277199 Structure learning enhances concept formation in synthetic Active Inference agents 结构学习 抽象学习 概念学习是人类认知的高级功能,物体和场景关系在推理中互相影响,现在AI还做不到这样的智能认知,这篇论文超结构学习迈出了第一步,而且是在结构学习下链接行动和感知。世界模型的学习和推理 自由能在学习的时间尺度上,从最快的推理,到慢一点的网络参数学习,再到最慢的睡眠离线模型的结构学习,次论文这三个层次都有介绍,核心是最高级的结构学习。在自由能框架下 结构学习如何自然出现。结构学习可以联系都洞察力,让人恍然大悟的时刻。涉及贝叶斯模型选择推理。
9.
2010, Nature Reviews Neuroscience. DOI: 10.1038/nrn2787
2022-11-19 07:13:00
#paper https://doi.org/10.1038/nrn2787 The free-energy principle: a unified brain theory? 自由能原理,说明了行动、感知和学习。这篇评论从自由能的角度审视了生物(如神经达尔文主义)和物理(如信息理论和最优控制理论)科学中的一些关键大脑理论。至关重要的是,有一个关键的主题贯穿了这些理论中的每一个--优化。此外,如果我们仔细观察被优化的东西,同样的数量不断出现,即价值(预期奖励,预期效用)或其补充,惊喜(预测错误,预期成本)。这就是在自由能量原理下被优化的数量,这表明几个全局性的大脑理论可能在自由能量框架内被统一起来。 生物系统的生理学几乎可以完全还原为它们的稳态。更确切地说,生物体所处的生理和感觉状态是有限的,这些状态决定了生物体的表型。数学上,这意味着这些(内感受和外感受)感觉状态的概率必须具有低熵;换句话说,系统很有可能处于少数状态中的任何一种,而处于其余状态的可能性很小。熵也是平均自我信息或“惊喜”8(更正式地说,它是一个结果的负对数概率)。在这里,“一条离开水的鱼”将处于一种震惊的状态(无论是情感上还是数学上)。一条经常离开水的鱼会有高熵值。 贝叶斯大脑假说 使用贝叶斯概率理论将感知表述为基于内部或生成模型的建构过程。潜在的想法是,大脑有一个世界模型 ,它试图使用感觉输入来优化它。这个想法与综合分析 和认识论自动化 有关。根据这种观点,大脑是一个 推 理 机 器 , 它 积 极 地 预 测 和 解 释 它 的 感 觉。这个假设的核心是一个可以产生预测的概率模型,根据这个模型,感官样本被测试来更新对其原因的信念。这个生成模型被分解成一个可能性(给定原因的感觉数据的概率)和一个先验(这些原因的先验概率)。然后,感知成为反转可能性模型(从原因到感觉的映射)的过程,以访问给定感觉数据(从感觉到原因的映射)的原因的后验概率。 这种反演与最小化识别密度和后验密度之间的差异以抑制自由能是一样的。事实上,开发自由能模拟是为了通过将其转化为更简单的优化问题来解决精确推理的难题 。这为模型识别和比较提供了一些强大的近似技术(例如,变分贝叶斯或集成学习)。贝叶斯大脑假说伴随着许多有趣的问题, 这些问题可以用自由能原理来解
10.
2022, arXiv. DOI: 10.48550/arXiv.2206.02063 arXiv ID: 2206.02063
2022-11-16 09:16:00
#paper https://doi.org/10.48550/arXiv.2206.02063 Active Bayesian Causal Inference :We sequentially design experiments that are maximally informative about our target causal query, collect the corresponding interventional data, and update our beliefs to choose the next experiment; 目前的工作中,我们考虑了更一般的设置,其中我们有兴趣进行因果推理,但没有获得参考因果模型的先验。 在这种情况下,因果发现可以被视为达到目的的手段,而不是主要目标。由于两个原因, 专注于主动学习完整的因果模型以实现随后的因果推理可能是不利的。首先,如果我们只对因果模型的特定方面感兴趣,那么浪费样本来学习完整的因果图是次优的。其次,从少量数据中发现因果关系会带来显著的认知不确定性; 我们提出了主动贝叶斯因果推理(ABCI),这是一个完全贝叶斯框架,用于整合因果发现和推理与实验设计。基本方法是将贝叶斯先验置于选择的因果模型类之上, 并将学习问题作为贝叶斯推理置于模型后验之上。给定未观察的因果模型,我们通过引入目标因果查询来形式化因果推理 ; 我们遵循贝叶斯最优实验设计方法[10,42]然后根据我们当前的信念,在真正的因果模型上选择最能提供我们目标查询信息的可接受的干预。给定观察到的数据,我们然后通过计算因果模型和查询的后验来更新我们的信念,并使用它们来设计下一个实验。
11.
2022, arXiv. DOI: 10.48550/arXiv.2204.14170 arXiv ID: 2204.14170
2022-11-16 08:17:00
​#paper https://doi.org/10.48550/arXiv.2204.14170 Tractable Uncertainty for Structure Learning 不幸的是,DAGs 的超指数空间使得表示和学习这样的后验概率都极具挑战性。一个重大突破是引入了基于order的表示(Friedman & Koller,2003),其中状态空间被简化为拓扑序的空间,即使这样,任然难于计算。 基于样本的表征对后验的覆盖非常有限,限制了它们所能提供的信息。例如,考虑在给定任意一组所需边的情况下,寻找最可能的图扩展的问题。给定超指数空间,即使是大样本也可能不包含与给定边集一致的单个订单,这使得回答这样的查询是不可能的。 因此需要寻找紧凑的表示。 利用阶模分布中存在的精确的层次条件独立性。这允许OrderSPNs 在相对于其大小的潜在指数级更大的订单集合上表达分布。提供线性时间的Bayesian causal effects因果计算。
12.
None, arXiv. DOI: 10.48550/arXiv.2210.12761 arXiv ID: 2210.12761
2022-11-14 14:39:00
#paper https://doi.org/10.48550/arXiv.2210.12761 Path integrals, particular kinds, and strange things FEP 是一个第一原理解释或方法,可以应用于任何“事物”, 以某种方式消除物理学、生物学和心理学之间的界限。 这种应用认可了许多关于感知行为和自组织的规范性解释。 范围从控制论到协同学(敖,2004;阿什比,1979 年;哈肯,1983;凯尔索,2021); 从强化学习到人工好奇心(巴尔托等人,2013;施密德胡伯,1991;萨顿和巴尔托,1981 年;Tsividis 等人,2021 年); 从预测处理到通用计算(Clark,2013bHohwy,2016;赫特,2006); 从模型预测控制到empowerment(Hafner 等人,2020;Klyubin 等人,2005),等等。 文章用统计物理学和信息论的标准结果来解开上面叙述的论点。
13.
2022, arXiv. DOI: 10.48550/arXiv.2208.10601 arXiv ID: 2208.10601
2022-10-18 10:58:00
#paper https://doi.org/10.48550/arXiv.2208.10601Deriving time-averaged active inference from control principles 通过观察随时反馈调整规划的理论实现, 假设固定的动作空间和前馈规划,这可能导致非常高维的递归优化问题。这些假设在经验上和计算上都是有问题的。有机体并不是生来就知道[9];他们学习[40]. 噪音[13,32], 不确定[23], 和可变性[47] 在运动控制方面不够完善,因此必须通过在线反馈来稳定运动控制。 随机最优反馈控制需要一个最优性原则,允许在行动步骤之间整合观察。而不是递归优化单独的动作,通过观察随时反馈调整规划序列。 尽管优化了“全局”(不确定)惊奇率(等式),它只需要在情境中规划和调整行为。 泰德帕里和 Ok[55] 1998 年发表了第一个基于模型的 RL 算法,而 Baxter 和 Bartlett[5] 给出了有偏的政策梯度估计量。亚历山大和布朗又花了十年时间[2]以给出平均成本时间差异学习的递归分解。张与罗斯[61] 直到最近,我才首次发表了“深度”强化学习算法(基于函数逼近)对平均成本标准的适应,该标准仍然是无模型的。Jafarnia-Jahromi 等人[26]最近给出了第一个算法 , 用 于 求 解 具 有 已 知 观 测 密 度 和 未 知 动 态 的 无 限 时 域 平 均 代 价 部 分 可 观 测 问 题 。 结论 这结束了主动推理的无限视野、平均惊奇公式的推导。由于我们的公式将行为情节置于情境中,所以尽管优化了“全局”(不确定)惊奇率(等式),它只需要在情境中规划和调整行为(例如,从时间步长 1 到 T)15). 我们认为,这种积极推理公式可以推进基于模型的概率方法,分层反馈控制[40,33].
14.
2021, Biological Psychology. DOI: 10.1016/j.biopsycho.2021.108242
2022-10-17 20:49:00
#paper https://doi.org/10.1016/j.biopsycho.2021.108242 Interoception as modeling, allostasis as control 大脑首先要维持身体的正常状态,还要对将要到来的未来需要提前准备,这需要大脑对身体有建模,大脑对外部世界进行建模,对自身身体也有建模,有关于自我身体的模型,并控制及预测未来身体的需求,比如比赛前的预热、深呼吸。包括管理分泌系统,免疫系统,消化系统等。 心理学家用许多术语来指代内部模型,包括interoception,包括记忆,信念,知觉推理,无意识推理,具身模拟,概念和类别,受控幻觉,预测。 大脑正在预测性地调节身体,这是一个运动控制的问题,而不是感知世界的问题。这是一个沿着期望的轨迹调节身体以实现效率的问题 对身体的调控分两方面,一方面如果提升营养供应,另一方面就要提升废物代谢,这种成对的控制几乎出现在全身的各种调节模式中。 具身决策包括所有三种形式的不确定性,这三种形式的不确定性都受制于非稳态调节:关于生理有效的不确定性,关于运动结果的不确定性,以及关于外部世界的不确定性。 文章提出了非稳态路径积分控制(APIC) Allostatic Path-Integral Control (APIC) 模型。APIC 有一个简单的核心思想:就像知觉概念是身体感觉表面的内部模型一样 15,92,14],行动概念也作为潜在行为及其预测结果的内部模型。
15.
2020, Proceedings of the ACM on Programming Languages. DOI: 10.1145/3428208
2022-10-11 09:40:00
#paper DOI: https://doi.org/10.1145/3428208 Scaling Exact Inference for Discrete Probabilistic Programs 概率推理的计算挑战是应用概率编程的主要障碍,如何解决?如何利用程序的结构来分解推理,如何解耦分不的结构和参数?如何证明编译的语义正确? dice 语言使用weighted model counting (WMC)推理,使用weighted Boolean formulas (WBF) 将代码编译为 binary decision diagrams (BDDs) to represent these formulas; experiments in Section 5 show Dice performing exact inference on a real-world probabilistic program that is 1.9MB large. 由于避免了指数爆炸,dice 编译的大小是线性的,计算是有保证的,编译方法是有数学证明理论的保证。 dice跟之前概率编程很大的不同是,同时支持常规编程语言的结构 if else for等。 一个关键挑战是dice支持任意观察,dice编译程序到两种BDD,一个支持程序的任意执行忽略观察,另一个表示满足观察的所有执行。 dice 开源。 The key insight is to separate the logical representation of the state space of the program from the probabilities 一旦程序被编译成 BDD,Dice 通过 WMC 对原始概率程序进行推理。至关重要的是,它这样做并没有穷尽列举所有的路径或模型。(高效) 通过条件独立进行抽象降低计算复杂度。(独立性,条件独立,局部结构) 补充参考: https://mp.weixin.qq.com/s/Rks2VGLz8G9XS3IGR7xegw
16.
2022, arXiv. DOI: 10.48550/arXiv.2206.00426 arXiv ID: 2206.00426
2022-09-19 19:40:00
#paper https://doi.org/10.48550/arXiv.2206.00426 Semantic Probabilistic Layers for Neuro-Symbolic Learning 论文为结构化输出预测设计了一个预测层,可以嵌入神经网络中,保证预测与标签约束一致,通过建模复杂的相关性和约束,结合了概率推理和逻辑推理。是现在唯一满足六个条件的实现。(概率性,高表达力,保证逻辑约束一致,通用-支持各种约束的形式语言表达,模块化嵌入神经网络端对端训练,高效的线性时间);核心是论文通过带约束的概率线路来实现。应用:路径规划(有障碍物、水路等限制),层级多标签训练等。
17.
2021, International Journal of Approximate Reasoning. DOI: 10.1016/j.ijar.2021.09.012
2022-09-16 09:57:00
#paper DOI:https://doi.org/10.1016/j.ijar.2021.09.012 Strudel: A fast and accurate learner of structured-decomposable probabilistic circuits Probabilistic circuits (PCs)将概率分布表示为计算图,并添加图结构属性保证推理计算效率。 结构化可分解是一个吸引人的属性。 它能够有效和精确地计算复杂逻辑公式的概率,并可用于在缺失数据的情况下推理某些预测模型的预期输出。 本文提出一种简单、快速、准确的结构化可分解 PCs 学习算法 Strudel: STRUctured-DEcomposable Learner,从数据中直接学习概率计算图网络。
18.
2020, .
2022-09-16 09:36:00
#paper URL: http://starai.cs.ucla.edu/papers/ProbCirc20.pdf Probabilistic circuits: A unifying framework for tractable probabilistic models 概率模型是现代机器学习(ML)和人工智能(AI)的核心。 事实上,概率论为在不确定性存在的情况下做出决策提供了一个原则性的、几乎普遍采用的机制。例如,在机器学习中,我们假设我们的数据来自未知的概率分布; 许多机器学习任务简化为简单地执行概率推理。类似地,许多形式的基于模型的人工智能寻求直接将支配我们周围世界的机制表示为某种形式的概率分布。 难怪 ML 中的许多注意力都放在从数据中学习分布上。我们将越来越多的表达性概率模型作为密度估计器,这些模型越来越接近产生数据的分布 但是之前模型及深度学习中的模型效率都不高,而且还不准确,我们要开发理论上可靠的模型且推理时间可控。且富有表现力,现在可以用统一的模型Probabilistic Circuits来处理。 Probabilistic Circuits特点:Probabilistic Circuits就是神经网络,而且是分层混合网络模型
19.
2022, arXiv. DOI: 10.48550/arXiv.2208.11970 arXiv ID: 2208.11970
2022-09-01 22:03:00
#paper https://doi.org/10.48550/arXiv.2208.11970 Understanding Diffusion Models: A Unified Perspective ;最近大火的视频生成模型 dall-e 等背后都是diffusion 模型,这篇论文细致的讲解了diffusion模型的来龙去脉,从ELBO 到VAE 到hierarchical VAE 到diffusion 模型,及diffusion模型的三个视角及diffusion模型的局限,整篇论文公式推导清晰易读是了解diffusion模型的好资料。
20.
2020, Cognitive Processing. DOI: 10.1007/s10339-020-00981-9
2022-08-16 10:19:00
#paper DOI https://doi.org/10.1007/s10339-020-00981-9 Do Process-1 simulations generate the epistemic feelings that drive Process-2 decision making? 如何用范畴数学来描述人类过程1过程2的思考方式(快思考慢思考),并且可以用来分析心流的体验(p31),这种分析结合了全局神经工作空间及元认知。形成了一个人类认知的高级架构。慢思考过程2是快思考过程1的一个高阶功能或过程1的上层调度机制(其中包含了人类的高级情感:问题求解过程中的怀疑焦虑挫折兴奋等)。思维问题解决的慢过程由于与外界互动少,主要以内感受为主,所以内部情绪活动较多(即怀疑焦虑兴奋等)。机制底层仍然是贝叶斯的信念、confidence。
TOP