SBP|“自组织”让“电老虎”少吃多干
文章图片
自组织反向传播（SBP）机制可以在降低计算能耗的同时不损失精度 。图片来源：unsplash
■采访人员 张双虎
云计算、大数据、人工智能等技术的快速发展和广泛应用，让这些领域成了“电老虎” 。新思界产业研究中心《2021年全球及中国数据中心加速器产业深度研究报告》预测，到2025年，仅全球数据中心消耗的电能就将占全球总发电量的五分之一 。
近日，中科院脑智卓越中心研究员徐波、蒲慕明院士联合研究团队在线发表于《科学进展》的研究，利用介观尺度自组织反向传播（SBP）机制，在更高效率、更灵活的类脑局部学习方面取得了重要进展 。该技术能在机器学习过程中，降低计算能耗的同时又不损失精度，让这些“电老虎”可以少吃多干 。
能耗的瓶颈
人工智能在某些领域表现出巨大的优势，比如，AlphaGo 完胜人类世界围棋冠军；在电子游戏竞技中，AlphaStar以10：1的总比分“狂虐”职业玩家 。
近年来，随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高 。据伦敦大学学院教授David Attwell团队通过对单个神经元耗能进行计算，发现整个大脑的能耗约16.6瓦 。对于人体而言，大脑只需要不到20瓦的功率就可以应对复杂思考任务 。与之相比，战胜柯洁的AlphaGo，耗电量相当于12760个人类大脑 。
“预训练模型的参数提高以后，人工智能的性能确实更强了，但能耗问题也不容忽视 。”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说，“研究者普遍认为，人工智能的表现还应更好一些 。比如，进行同样运算而消耗更少的能源 。”
模拟人类大脑运行过程是人工智能的一个重要途径，在人工智能研究领域，目前神经网络中被广泛使用的反向传播算法（BP）采用全局优化策略 。这种端到端的学习方法性能卓越，但学习过程能量消耗大，缺乏灵活性 。
“在精度不受影响的前提下，降低能耗是我们的研究目的之一 。”徐波告诉《中国科学报》，“现在包括人工智能大模型在内的很多算法也远未达到人脑的参数量 。而大脑维持这么多神经元运算，却是非常节能的 。如果我们在算法设计之初，让机器能像人那样去学习，也许模型不必那么庞大，学习训练的时候也不会那么耗电 。”
向大脑学习
“我们想借用一些生物学领域取得的进展，弄清楚大脑是怎么在低能耗的情况下高效学习的 。”张铁林说，“所以蒲慕明老师给徐波老师团队推荐了很多算法，并保持着深度合作 。”
1997年，蒲慕明团队在《自然》杂志发表论文，揭示了海马体内神经元可以将长时程抑制（LTD）可塑性自组织地传播到三个方向，分别是突触前侧向传播、突触后侧向传播和反向传播，这个发现就是SBP 。
进一步的研究证实，SBP现象具有普遍性，不仅覆盖更多的神经区域如视网膜—顶盖系统，还覆盖更多的可塑性类型，如长时程增强 。该机制的形成归结于生物神经元内分子调制信号的天然逆向传递，被认为是可能导致生物神经网络高效反馈学习的关键 。
研究团队受到该机制的启发，对SBP的反向传播方向（第三个方向）单独构建数学模型，重点描述了神经元输出突触的可塑性能够反向传播到输入突触中，可塑性的发生可以通过时序依赖突触可塑性，也可以通过人工局部梯度调节 。在标准三层脉冲神经网络（SNN）的学习过程中，SBP机制可以自组织地完成前一层网络权重的学习，并可以结合短时突触可塑性、膜电位平衡等，形成更强大的SNN组合学习方法 。
推荐阅读
- 咖啡|前滩太古里，TA们透过唇语“听见咖啡”
- 牛肉|百县千碗丨数九寒冬，到哪儿吃“暖”？
- 青菜|东北女子在西安生活6年，囤200斤白菜腌酸菜，成疫情“最富的人”
- 鸡蛋|冬补三九，宁可不吃肉，也要常吃10种“根菜”，抵御寒冷安稳过冬
- 蒸鱼|料酒不是“万能去腥调味料”，记住“3买4不用”，搞错了适得其反
- 抖音怎么送灯笼给抖音好友（如何送灯笼给抖音好友）
- 土豆|东北人爱吃的6道“硬菜”，不放一点儿肉，却比肉还受欢迎！
- 龙虾|普洱茶界独一无二的“勐海味”，究竟是什么味？带着点海腥味吗？
- 勐海|普洱茶界独一无二的“勐海味”，究竟是什么味？带着点海腥味吗？
- 饺子|元旦假期到，精选“6款水饺”，好吃好做又实惠，吃完顺利一整年