深度学习存在分形盆地式的可预测性极限
悉尼大学研究人员在Nature Machine Intelligence发表研究,用分形盆地几何解释为何神经网络即使在完全确定性的环境中,也会因极小扰动落入不同训练结果。研究发现,能让网络有效学习的参数区域同时更难预测和复现;降低学习率可以提高重复性,却会削弱学习效果。团队提出新的敏感度测量工具,并建议未来从网络架构上减少不稳定条件。结论不是AI必然失控,而是可靠评估不能只看一次最好成绩,还要报告多次训练的分布和复现成本。
来源原文The University of Sydney