文章 12
评论 4
浏览 32307
神经网络反向传播算法的推导

神经网络反向传播算法的推导

概述   在深度学习领域的研究中,神经网络有着举足轻重的地位,神经网络相关的理论也是整个深度学习研究的基石。其中,神经网络的反向传播算法又是神经网络理论的核心所在。如今各种深度学习框架百花齐放,相关的开源社区也蓬勃发展,这些深度学习框架大部分都为我们封装了神经网络的基本操作以及自动求导的功能,这样我们只需用几十行代码就可以训练一个简单的神经网络而不需要明白其内部的原理。当然,深度学习框架的发展有利亦有弊。一方面,使用深度学习框架就可以不用重复造轮子,让我们可以专注于算法本身的研究上,不需要编写过多的额外代码。另一方面,深度学习框架的出现大大降低了深度学习的门槛,这导致了广大所谓的“研究者”只知其然不知其所以然,所谓的深度学习研究就退化成了“调参”,这恐怕也是深度学习被广为诟病的特点之一。   基于上述观点,我认为一个合格的深度学习研究者在数学上一定要过关,事实上任何理工科的科研脱离了数学都是扯淡。我很早就想学习一下神经网络反向传播算法的具体内容,但却一直拖到了现在。这几天趁着矩阵论刚考完还热乎着,准备结合网上的一些资料尝试一下推导反向传播算法,就写下了这篇博客,本文只讨论全连接神经网络....

Everything that kills me makes me feel alive