这是Wolfram科学会议提出的一个雄心勃勃的问题:是否存在递归函数的网络模拟?也许是一种迭代的"地图缩减"模式?如果我们在迭代中添加交互,事情就会变得复杂:大量交互实体的连续迭代会产生非常复杂的结果。如果能有一种方式来看待定义复杂系统的无数交互的后果,那就太好了。在包含嵌套传播循环的连接节点的迭代网络中,我们能找到递归函数的对应项吗?
分布式计算的基本模式之一是Map Reduce:它可以在细胞自动机(CA)和神经网络(NN)中找到。神经网络中的神经元通过突触收集信息(减少)并将其发送给其他神经元(映射)。CA中的细胞行为相似,它们从邻居那里收集信息(减少),应用转换规则(减少)并再次将结果提供给邻居。因此>如果<有一个递归函数的网络模拟,那么Map Reduce当然是其中的重要组成部分。存在什么样的迭代"Map Reduce"模式?某些类型的"地图减少"模式是否会导致某些类型的流,甚至漩涡或漩涡?我们能为map reduce模式制定一个演算吗?
我将尝试一下关于神经网络中递归的问题,但我真的不知道map reduce是如何做到这一点的。我知道神经网络可以执行分布式计算,然后将其简化为更局部的表示,但map reduce是这种分布式/局部管道的一个非常具体的品牌,主要与谷歌和Hadoop有关。
无论如何,你的问题的简单答案是,在神经网络中没有一个通用的递归方法;事实上,在神经网络中实现通用角色-值绑定这一非常相关的更简单的问题目前仍然是一个悬而未决的问题。
为什么像神经网络中的角色绑定和递归这样的事情如此困难的一般原理是,神经网络本质上是非常相互依赖的;事实上,这就是他们大部分计算能力的来源。而函数调用和变量绑定都是非常精细的操作;它们所包含的是要么全有要么全无的事务,在许多情况下,这种离散性是一种宝贵的财产。因此,在不牺牲任何计算能力的情况下实现一个在另一个内部确实非常棘手。
以下是一些尝试部分解决方案的论文样本。幸运的是,很多人都觉得这个问题很有趣!
视觉分割和动态绑定问题:提高人工神经网络浮游生物分类器的鲁棒性(1993)
组合连接主义绑定问题的解决方案
绑定问题的新解决方案