游戏攻略网
当前位置: 首页 游戏攻略

神经网络如何算收敛(单个神经元就可以实现)

时间:2023-07-02 作者: 小编 阅读量: 1 栏目名: 游戏攻略

XOR运算与AI的第一次寒冬XOR运算是计算机中最常见的一种逻辑运算。从硬件角度来看,一个XOR需要6个MOSFET晶体管才能实现。说白了,属于单层的神经模型“感知器”只能解决线性问题,而XOR则是非线性问题,需要多层神经网络来解决。他的发难成为了那次AI寒冬的导火索。直到后来多层神经网络的出现,才解决了这一问题,AI界才迎来了连接主义的第二次兴盛,直至今日。这种电位以树突为单位,钙为介质。

边策 赖可 发自 凹非寺
量子位 报道 | 公众号 QbitAI

在机器学习中,异或(XOR)这样的非线性问题一直需要多层神经网络来解决。科学家一直以为,即使在人类大脑中,XOR运算也需要多层神经元网络才能计算。

但是大脑远比人类想象得“高能”。

最新研究发现:人类大脑只需要单个神经元就可以进行XOR运算。这项研究登上了最新一期的Science杂志。

来自德国洪堡大学的学者们在论文中表示:我们的发现,对构成细胞功能算法的生理基础提供了洞见,这些基础模块最终引发了大脑皮层网络的行为。

一直热爱给AI泼冷水的马库斯也非常关注,甚至觉得这个研究可能重塑对神经网络的看法。

在推特上,这一研究已经收获700多次转发,近2000赞。在reddit谈论上,也已经引发了100多条讨论。

XOR运算与AI的第一次寒冬

XOR运算是计算机中最常见的一种逻辑运算。异或的意思即:输入相同,结果为0;输入不同,结果为1。

这个看似简单的运算,其实需要的步骤却不简单。就是这个小小的运算问题,却导致了上世纪70年代的第二次“AI寒冬”。

在计算机领域,异或从来就不是一个晶体管或线性模型就能解决的。

从硬件角度来看,一个XOR需要6个MOSFET晶体管才能实现。

从软件上来看,一个XOT需要至少两层的神经网络才能输出正确的结果。

最初的人工神经网络仅有一层,而一层网络是无法解决异或运算的。你无法只画一条直线就把正方形的两组对角顶点分开。

说白了,属于单层的神经模型“感知器”只能解决线性问题,而XOR则是非线性问题,需要多层神经网络来解决。

1969年,“符号主义”的代表人物明斯基在自己的新书《感知器》中diss“连接主义”:感知器连基本的异或都做不到。他的发难成为了那次AI寒冬的导火索。

直到后来多层神经网络的出现,才解决了这一问题,AI界才迎来了连接主义的第二次兴盛,直至今日。

颠覆认知:单个神经元如何实现XOR运算

不仅单层人工神经网络做不到,过去科学家们认为,连人类的单个神经元也做不到。常常被人类拿来做实验的小白鼠就不行。

而最新的研究发现,人类的神经元比其他生物更高级些,只要单个神经元就能做异或运算。这或许也是人类能拥有高级智慧的原因。

人类的大脑就是一个碳基计算机,处理各种信息和计算,最外面的皮层是其中的CPU。最高级,也是大脑演化中出现最晚的部分。在皮层中,分布着一个个神经元。

树突作为单个神经元的一部分,树突的电学特性决定了神经元的输入输出,是大脑各种复杂功能的基础。然而,过去对树突的了解几乎都是从小白鼠身上得来的。

同为哺乳动物,小鼠的皮层结构和人类差不多。小鼠大脑中,2层和3层不可分割,人类大脑中,可以进行分割,一般研究中,2层和3层就算在一起,作为2/3层。

其中2/3层在人类的进化过程中,会不均匀地增厚。这让科学家对这一层产生了独特兴趣,把癫痫和肿瘤病人手术切除的脑组织中的这一部分做成切片,拿来研究。

2/3层有大量结构精密的树突森林,树突上发生着大量的电输入。这一层也有大量的锥体神经元。

科学家发现,在锥体神经元上,有一种钙介导的树突状动作电位dCaAPs。这种电位以树突为单位,钙为介质。和常见的只有“全“或”无“两种状态的动作电位bPAs相比,呈现的状态更复杂。

对于普通水平的刺激,振幅最大

波形更宽:4.4±1.4 ms,范围是2.6~8.0 ms;
上升缓慢且在开始时没有扭结;
dCaAPs的振幅及其上冲程与细胞体的距离无关。

对于较强的刺激,dCaAPs的振幅会衰减。

当用超过阈值的电流刺激细胞体时,普通APs的输出值会随之增强,而dCaAPs的强度反而会减弱。

这样,当输入强度高于最优强度时,dCaAP虽然被激活,但是振幅会被抑制,运用这一性质,它们可以进行XOR运算。

运算发生的位置也有特殊性,XOR运算发生在dCaAPs的树突顶端;而线性的AND/OR运算发生在细胞体中,在基底树突上。

讨论:生物神经元与人工神经网络

这一研究结果,首先打破了大家对人类大脑的既有认知。

Robust.AI创始人马库斯认为,这个发现的意义重大,我们现在对大脑的认知只是冰山一角,单个神经元或许能做很多的事情。而我们此前没有发现。

他认为这个研究可能重塑我们对神经网络的看法。

在推特上,研究团队同实验室的科学家Jaan Aru发出的推文,获得了700多转发、近2000的喜欢。而在Reddit论坛上,这个主题也被顶了近700次。

在Reddit上,网友们也进行了大量的讨论,我们从中摘录了一些。

网友HackZisBotez:

这篇论文很棒。这是科学研究第一次展示出,人类神经元与啮齿类动物神经元,有本质的不同,不仅是算力更强大,而且完全不同的计算方式。

人类神经元执行XOR的方式,是一种此前未知的、针对输入的局部响应来实现。这种响应的阈值以下范围很窄,阈值区间范围非常大,而阈值以上的范围同样很窄。我们在其他动物身上,从来没有看到过类似的情况。

网友Nivter:

“我们的发现,对构成细胞功能算法的生理基础提供了洞见,这些算法模块最终引发了大脑皮层网络的行为。”

作者论文中的这些话,我认为暗示了人工神经元,只是实现了真实神经元功能中的一小部分功能。我们可以从真实神经元中获得启发,两者完全不能相提并论。

网友ka9dgx:

我认为这暗示着,复制人类大脑所需要的神经元数量,可能需要重新估算。

我们对大脑还没有足够的了解。人脑最小的功能单元可能是微柱体。微柱体中有大约100个神经元,分布在一个6层结构中。不过,哺乳动物的新皮质结构,并不是智力的必要条件。乌鸦是最聪明的动物之一,但并没有新皮质结构。

网友Optrode:

神经学家在此。对于想要了解生物神经元和人工神经网络之间差异的人,我提供三个现成的信息。

1、生物神经元不能简化为“激活或抑制”。激活或抑制的突触有非常多的类型,它们的行为并不完全相同。比方,允许钠进入细胞(直接激活),允许钾离开细胞(直接抑制),打开氯离子通道(通常反直接激活或抑制),允许钙进入细胞(可以触发基因表达的改变)……

2、一个神经元的输入,永远不会线性求和。树突的物理性质,控制了突触信号可以传播多远、向哪个方向传播。一个树状分支可以执行完全独立于另一个树状分支中事件的局部计算。

3、神经元的计算功能高度依赖于其时间动态。神经元的兴奋性与其近期的活动有关,没有时间动态,几乎无法完成建模。许多神经网络回路收到循环输入的强烈调制,这意味着给定一组神经元的输出,实际上无法以前馈方式进行计算,即便对于静态输入也是如此。

当然,除了讨论和赞许,也会有不同的声音。

神经网络、机器学习研究者Subutai Ahmad就在推特上提问:

非常棒的研究。但我有一点困惑之处:2003年Yiota给出的模型,已经解决了XOR问题。

对此Jaan Aru回答说:

不过这次是东西,真的神经元,真的电流和真的尖峰。无意冒犯所有出色的计算机研究者。但我想大多数人都同意,真实的结果比仅有一个模型更出色。

上面提及的计算神经科学家Yiota Poirazi,也在推特上作出回应。

她说这次的新结果,是在自己团队以前的结果上得出的,但研究方向仍然非常新颖。不过,她也指出这一方向的研究,还有进一步深入的空间。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

,
    推荐阅读
  • steam棋牌游戏推荐(幸运之夜新版本亮相TGC)

    steam棋牌游戏推荐12月1日,2017腾讯游戏嘉年华正式在成都开幕,腾讯的VR社交游戏《幸运之夜》在现场发布了最新版本。VR《幸运之夜》在TGC2017上惊艳亮相《幸运之夜》新版本发布邀请好友一起游戏今年7月底,《幸运之夜》正式在Steam发布,并推出了首款游戏作品“德州扑克”。今年的TGC2017现场,《幸运之夜》全新版本便带来了对互动性方面的提升。

  • 儿童睡前故事卖火柴的小女孩大全(卖火柴的小女孩)

    在长发公主的故事里,兔子小姐变成了手持宝剑的骑士,穿过了山川和河流,战胜了地狱恶犬,最终救出了长着一头金黄色长发的熊猫先生。随着一阵空间的波动,熊猫先生和兔子小姐来到了冰天雪地的圣诞节。小女孩被这突如其来的变化惊呆了。熊猫先生没有回答,轻轻摸了摸小女孩的头。小女孩点燃了第二根火柴。熊猫先生和兔子小姐则来到壁炉前,商量起小女孩最后一个愿望。熊猫先生蹲下来,握起小女孩的手。

  • 怎样做ppr管快一点(PPR管安装方法及技巧)

    怎样做ppr管快一点PPR管安装方法及技巧首先准备好需要的材料:热熔机,小剪刀,ppr管,管件,手巾。一定要根据自己热熔ppr管的口径,准备相应的热熔头。清洁:清洁管材与管件的焊接段部位,建议用95%浓度酒精擦净。在熔接时间内迅速的将管材无旋转的垂直插入管件中,并维持5秒以上,然后按相应冷却时间冷却。热熔后做到横平竖直,美观大方。

  • 大托特包搭配技巧(大托特包搭配技巧简述)

    西装外套+托特包复古时尚的格子,由黑白交错的条纹形成,文艺而又端庄搭配撞色托特包,优雅而不失俏皮,让气场变得灵动起来内搭白色连帽卫衣,减龄又可爱,接下来我们就来聊聊关于大托特包搭配技巧?大托特包搭配技巧西装外套+托特包复古时尚的格子,由黑白交错的条纹形成,文艺而又端庄。衬衫+托特包白色的衬衫休闲慵懒,给人一种空灵的感觉以及干净纯粹的气质。

  • 刘涛电视剧口碑(电视剧景气指数第一)

    还记得3月份刘涛在和周渝民主演的《大宋宫词》中扮嫩出演少妇被很多观众吐槽。万万没想到时隔数月,刘涛带着她的新剧《星辰大海》杀回来了。目前主要的剧情线在刘涛饰演的女主简爱身上。因为小时候意外发现母亲出轨的事,得知真相的父亲激愤之下杀死母亲并自杀,简爱因此成为了一个孤女。逃出傻子家的简爱在与姑姑的争执中误伤姑姑,从此开启逃命生涯。简爱从面馆辞职走投无路,误打误撞进入大公司之后面临着同事的故意刁难。

  • 外墙装修材料有哪些 外墙装修材料有哪些类型

    外墙涂料具有装饰性良好、耐污染耐老化以及施工维修容易和价格合理的特点。一般来说釉面外墙砖有亚光面与无光面两大类。它的装饰的效果也不错,有柚木色、深灰色等等可供选择。由于它的表面的肌理很清晰,所以色泽漂亮且装饰性极强。本站,中国知名大型装修平台,装修领导品牌。

  • 世界上有哪些花(世界上有哪些花 名字)

    瓜叶菊、香豌豆、夏兰、石竹、石蒜、荷花、翠菊、睡莲、福禄考、晚香玉、万寿菊、千日红、建兰、铃兰、报岁兰、香堇、大岩桐、水仙、小草兰、瓜叶菊、蒲包花、免子花、入腊红、三色堇、百日草、鸡冠花、一串红。孔雀草、大波斯菊、金盏菊、非洲凤仙花、菊花、非洲菊、观赏凤梨类、射干、非洲紫罗兰、天堂鸟、炮竹红、菊花、康乃馨、红掌、满天星、星辰花、三角梅、虞美人。

  • 长歌行李长歌母亲是谁杀的(长歌行李长歌的简介)

    下面更多详细答案一起来看看吧!长歌行李长歌母亲是谁杀的《长歌行》李长歌母亲是自杀的。李长歌,太子李建成之女,生母则是回纥王族。父母手足均死于玄武门之变,满怀愤恨的长歌凭高超武艺逃出皇宫,并在追捕过程中制造“坠崖假死”而逃生,其后女扮男装隐瞒身份流落民间,一心只想为父母复仇,在家和国的利害冲突中,最后放弃复仇,和阿诗勒隼一起成为了民族和解的使者。

  • 什么时候喝蛋白粉增肌效果最好(什么时候喝蛋白粉增肌效果最好)

    从长远来看,这种方法被证明可以促使肌肉明显增长。如果摄入量超过一定的阈值,蛋白质的合成就会受限。如果是以乳清饮料的形式摄入乳清蛋白,运动者可以在运动结束后立即饮用。按每公斤体重1克的标准,在健身前后立即摄入以及在运动后1小时内摄入可快速吸收的碳水化合物,可以明显抑制肌肉分解,并大大促进肌肉快速和明显的增长。在这种情况下,大量分泌的胰岛素促进了氨基酸向工作中的肌肉运输,为蛋白质合成奠定基础。

  • 窦骁周冬雨山楂树之恋结局(周冬雨18岁第一次出演)

    周冬雨18岁第一次出演要说最近最火的电影,非《少年的你》莫属,上映14天,已经收获了12.45亿的票房成绩,成为现阶段最强的票房黑马而作为该片主演的周冬雨和易烊千玺,也凭借在该片中的精彩演出,演技得到大众的进一步认可作为“。