编辑推荐:
帝国理工学院的研究人员发现,脑细胞之间的差异可能会加速学习,提高大脑和未来人工智能的表现。
这项新的研究发现,在模拟大脑网络时,通过调整单个细胞的电特性,这些网络的学习速度要比模拟相同细胞的学习速度快。
他们还发现,网络需要更少的微调细胞来获得相同的结果,而且该方法比具有相同细胞的模型能耗更低。
作者表示,他们的发现可以告诉我们,为什么我们的大脑如此擅长学习,也可能帮助我们建立更好的人工智能系统,比如可以识别声音和面孔的数字助理,或自动驾驶汽车技术。
第一作者Nicolas Perez是伦敦帝国理工学院电气与电子工程系的博士生,他说:“大脑需要高效的能源,同时仍然能够出色地解决复杂的任务。我们的工作表明,在大脑和人工智能系统中拥有多样化的神经元可以满足这些要求,并可以促进学习。”
这项研究发表在《Nature Communications》杂志上。
为什么神经元像雪花?
大脑由数十亿被称为神经元的细胞组成,这些细胞由巨大的“神经网络”连接起来,使我们能够了解世界。神经元就像雪花:它们从远处看是一样的,但进一步观察就会发现,没有两个是完全一样的。
相比之下,人工神经网络(人工智能所基于的技术)中的每个细胞都是相同的,只是它们的连通性不同。尽管人工智能技术正在飞速发展,但它们的神经网络学习的准确性和速度不如人类大脑——研究人员想知道,细胞多样性的缺乏可能是罪魁祸首。
他们开始研究通过改变神经网络细胞属性来模拟大脑是否可以促进人工智能的学习。他们发现,细胞中的可变性提高了他们的学习能力,减少了能量消耗。
该研究的主要作者、帝国理工学院电子工程系的Dan Goodman博士说:“进化赋予了我们难以置信的大脑功能——其中大部分我们才刚刚开始了解。我们的研究表明,我们可以从自己的生物学中吸取重要教训,让人工智能更好地为我们工作。”
为了进行这项研究,研究人员专注于调整“时间常数”——也就是说,每个细胞根据连接到它的细胞的动作来决定它想做什么有多快。有些细胞会很快做出决定,只看连接的细胞刚刚做了什么。其他细胞的反应会较慢,它们的决定取决于其他细胞一段时间以来一直在做什么。
在改变细胞的时间常数后,他们让网络执行一些基准的机器学习任务:对衣服和手写数字的图像进行分类;识别人类的手势;以及识别语音数字和指令。
结果表明,通过允许网络将慢速信息和快速信息结合起来,它能够更好地解决更复杂的现实环境中的任务。
当他们改变模拟网络的可变性量时,他们发现表现最好的网络与大脑中看到的可变性量相匹配,这表明大脑可能已经进化到拥有最优学习的可变性量。
Nicolas补充说:“我们证明了人工智能可以通过模拟大脑的某些特性来更接近我们的大脑工作方式。然而,目前的人工智能系统远未达到我们在生物系统中发现的能源效率水平。
“接下来,我们将研究如何减少这些网络的能量消耗,让人工智能网络更接近大脑的效率。”
“Neural heterogeneity promotes robust learning” by Nicolas Perez-Nieves, Vincent C. H. Leung, Pier Luigi Dragotti, and Dan F. M. Goodman, published 4 October 2021 in Nature Communications.
生物通 版权所有