高效炼丹必备一文入门深度进修数学事理还有吴恩达亲授课程

哪个程序员不想高效“炼丹”？

尤其是深度学习算法开拓职员，追求模型构造优化和提高编程效率是永久的目标。

但是，如果只做代码“搬运工”，不理解神经网络背后的数学事理，很难对项目有深刻全面的理解，debug反而会更难、耗时更长。

就以深度学习中常用的神经网络来说，范例模型包括多层感知机(DLP)、卷积神经网络(CNN)、循环神经网络(RNN)等等，不同的项目，对神经网络的调参需求也不相同。

下面的深度学习数学根本详解，以DLP为例，你读完后会对它的数学根本有全面的理解，并且熟惯用数学阐明算法的基本思路。

除了DLP，文末还一并为你准备了RNN、CNN数学事理，以及吴恩达老师的AI数学根本课程。

一文实现AI数学根本入门，还在等什么？

多层感知机的数学表达分为4个部分：学习算法、参数初始化、激活函数、优化函数。

神经网络的学习过程可以看做是参数的权重在网络中经历的不同回归，也便是说我们的算法是要找出一个使参数得到最佳输出的回归方法，由此我们定义一个目标函数：丢失函数L（loss function）；还有一个参数J，它是演习集真实与估计值的量化表示。

我们通过正向和反向传播两种方法来使J最小化，学习算法可以表示为：正向传播：

个中m是演习集的大小，i是参数在网络中的迭代次数，y是模型的输出，θ是模型参数。

反向传播：

参数初始化

零初始化：使所有参数的权重和偏差都为零。

随机初始化：不断将随机噪音赋值给参数。
如果噪音过大，可能会造成某些激活函数溢出，并影响到后续的梯度打算。

Xavier方法：取值于正态分布的中央变量：

Glorot方法：同样取值于正态分布，方法不同。

激活函数

勉励函数的功能是选择在网络中被通报的详细参数，更深一层的理解是，许可网络中被有效激活的神经元通报演习数据。

一下是一些常用的激活函数：

优化函数

风险，是神经网络中全部数据集的丢失，是我们须要优化的工具，定义为：

个中，X是一个可不雅观测的连续空间中，与Y有关的元素，p(X,Y)是在这一空间中不雅观察到点（X,Y）的边缘概率。

履历风险

在没有全部数据集，或全部数据集过大的情形下，我们不考虑参数分布情形，仅将风险估计的范围限定在一个有代表性的数据集上，这种情形下，丢失函数可以表示为：

m是代表数据集的大小。

于是可以得出：

梯度低落法

我们须要布局一个可微凸函数J，其任何一个局部的最小值都是全体函数的最小值，那么求这个函数的最小值就相称于解一个方程∇J(θ)=0，设它的解为θ⋆，于是我们得到：

学习率递减

实践证明，随着数据迭代次数增加，模型会逐渐降落学习率。
现在已经有许多成熟地描述学习率递减的公式。

优化函数还包含输入优化、网络数据丢失正则化、反向传播正则化等，限于篇幅将链接放在文末。

DLP中的其他优化函数，以及参数正向、反向传播时丢失函数详细推推导过程https://www.ismailmebsout.com/deep-learning/

除了DLP，其他神经网络RNN、CNN等也有详细的数学表达推导过程CNNhttps://www.ismailmebsout.com/Convolutional%20Neural%20Network%20-%20Part%201/RNNhttps://www.ismailmebsout.com/recurrent-neural-networks/

deep learning数学根本入门http://deeploria.gforge.inria.fr/cours/cours1.html#/definitions

Deep Learning Specialization. Master Deep Learning, and Break into AI，吴恩达https://fr.coursera.org/specializations/deep-learning

Antoine Henrot的优化算法课程http://www.iecl.univ-lorraine.fr/~Antoine.Henrot/english.html