SBP|“自组织”让“电老虎”少吃多干( 二 )
由于涉及前沿生物技术，有很多生物机制计算机验证起来非常困难 。
“蒲老师讲完这一机制，我们读相关论文时还觉得这项工作并不复杂 。”张铁林说，“但真正应用到模型上却困难重重、一筹莫展 。”
张铁林等人是计算机领域的，生物领域论文对他们来说比较难，“很多时候并不完全懂” 。而且，大脑中有多个关联机制，要不要跟SBP结合、怎么结合、神经元的突触往前传多少、传给谁、有没有倾向性，这些问题都没有答案，感觉“有很多缺失的信息需要去补充” 。
【SBP|“自组织”让“电老虎”少吃多干】没有标准答案，研究人员只能先结合网络情况进行论证分析，再设置一个可优化的参数，用一些特殊的方法构建“能量函数”来约束一些变量，然后把这个机制放到脉冲网络里去验证 。
然而，经过多次尝试，结果却并不理想 。他们只好回过头来重新认识“生物学规则” 。随着学习的深入，蒲慕明建议他们做一些小实验来模仿类似生物的小网络 。慢慢的，这种机制逐步明确起来 。
“从科研角度来讲，要先做减法，把它的重要性弄清楚、体现出来，后面再做加法，加更多的机制、变量和条件 。”张铁林说，“目前我们只是在一些标准的简单模型上进行了验证 。因为如果模型太复杂，会说不清楚SBP在其中到底贡献了什么 。下一步我们会在更大规模的模型上进行验证 。”
研究团队针对性地提出一种统计训练过程中能量消耗的新方法 。在图片分类、语音识别、动态手势识别等多类标准数据集上，SBP机制通过组合其它可塑性机制，实现了更低能耗和更高精度的SNN局部学习 。在一些人工网络的学习中，SBP机制也可以大量替换BP机制实现全局和局部交叉学习，在降低计算能耗的同时不损失精度 。
“自组织”的优势
“生物智能计算的本质，很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习，结合遗传演化赋予的远程投射网络结构，达到高效的全局优化学习效果 。”蒲慕明告诉《中国科学报》，“该工作可以进一步引导生物和人工网络的深度融合，最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型 。”
目前，反向传播机制已经是一种优化的结果，作为一种标准模型，它基本上覆盖了脉冲和人工网络模型，效果也不错 。
“但其能耗和学习效率方面，还可以再优化一些，从各个尺度上再提升一下 。”张铁林说，“我们在训练时，也采取混合式的训练方法，一部分采用BP方法，一部分采用SBP方法 。”
研究人员认为，SBP是一类介观尺度的特殊生物可塑性机制，具有自平衡、自组织、可传播等特点，因此在神经网络学习中展示出较好的组合优化优势 。
“人工的反向传播算法靠整体目标函数驱动，每次计算时既慢又耗能，特别是在网络比较大的时候，问题就更明显了 。”张铁林说，“如果一个算法是自组织的，它就可以像大脑一样无监督学习，可以进行局部运算，就比较节能了 。”
目前，该团队已经在一些小型、浅层的人工网络上做过测试 。结果表明，最好的时候，其可以在保持原来性能的基础上，把能耗降到原来的21%左右 。
“比如，原来需要100块GPU去训练，现在只需要21块就够了 。”张铁林说，“这在进行大模型训练的时候就比较重要了 。”
SBP只是一个开始，它对进一步深入探索类脑局部计算具有很大的启示 。
“将来还有很多和脑智卓越中心生物科学团队的交叉合作研究 。”徐波说，“相信人工智能领域未来还有很大的进步空间，这些受生物启发的学习法则可以帮助人们更好地填补这些空白 。”
推荐阅读
- 咖啡|前滩太古里，TA们透过唇语“听见咖啡”
- 牛肉|百县千碗丨数九寒冬，到哪儿吃“暖”？
- 青菜|东北女子在西安生活6年，囤200斤白菜腌酸菜，成疫情“最富的人”
- 鸡蛋|冬补三九，宁可不吃肉，也要常吃10种“根菜”，抵御寒冷安稳过冬
- 蒸鱼|料酒不是“万能去腥调味料”，记住“3买4不用”，搞错了适得其反
- 抖音怎么送灯笼给抖音好友（如何送灯笼给抖音好友）
- 土豆|东北人爱吃的6道“硬菜”，不放一点儿肉，却比肉还受欢迎！
- 龙虾|普洱茶界独一无二的“勐海味”，究竟是什么味？带着点海腥味吗？
- 勐海|普洱茶界独一无二的“勐海味”，究竟是什么味？带着点海腥味吗？
- 饺子|元旦假期到，精选“6款水饺”，好吃好做又实惠，吃完顺利一整年