导航菜单
首页 >  沐鸣测速 >  » 正文

沐鸣测速人工神经网络可能受益于“睡眠”休息

沐鸣测速

美国洛斯阿拉莫斯国家实验室的科学家们发现,沐鸣测速地址与生物学极为相似的人工神经网络(ANNs)可能会从类睡眠周期中受益。这些周期似乎平息了与不间断、无监督学习相关的不稳定性。
 
这项研究的负责人伊京·沃特金斯(Yijing Watkins)说:“我们对这样一种前景很感兴趣,即训练一个神经形态处理器,其方式类似于人类和其他生物系统在童年时期如何从环境中学习。”
 
沃特金斯和她的同事们一直在开发模仿人类和其他动物如何学习处理图像的人工神经网络(ANNs)。他们发现,在经过长时间连续的无监督训练后,网络模拟有变得不稳定的趋势,在这种训练中,网络在没有事先的例子来比较的情况下对物体的图像进行分类。
 
令人意外的是,当他们将神经网络暴露在类似睡眠的状态时,沐鸣测速稳定性似乎恢复了:“这就好像我们给了神经网络一个相当于晚上好好休息的机会,”沃特金斯说。
 
根据研究人员的说法,在无监督学习过程中,防止机器学习系统陷入不稳定的复杂性只有在尝试使用某些近似于生物学的神经网络时才有意义:尖峰神经网络。这些网络的神经元只有在膜电位(类似于生物神经元中的电荷)达到阈值时才会放电。一个神经元放电产生的信号会影响其他神经元的膜电位。
 
“绝大多数机器学习、深度学习和人工智能研究人员从未遇到过这个问题,因为在他们研究的人工系统中,他们拥有执行全局数学运算的特权,沐鸣测速这些运算可以调节系统的整体动态增益,”合著者加勒特•凯尼恩(Garrett Kenyon)说。
 
研究人员称,将网络暴露在数字睡眠模拟环境中是稳定网络的最后一搏。他们用各种与白噪声类似的噪声进行了实验,发现最有效的是高斯噪声波:一种正态分布的噪声。科学家们说,这种噪音模仿了人类神经元在慢波睡眠时接收到的信号。这可能表明慢波睡眠有助于确保神经元保持稳定,防止人类产生幻觉等影响。
 
沃特金斯和她的同事们下一步计划在英特尔的Loihi神经形态研究芯片上实现他们的算法,该芯片使用尖峰神经网络来实现无监督学习。他们希望,允许芯片偶尔“睡觉”,能使它以更大的稳定性实时处理来自硅视网膜摄像头的信息。
 
如果他们的发现证实了在人工智能系统中进行睡眠类比的必要性,那么这条规则可能在未来也适用于其他生物激发的人工智能系统。