深度学习中的优化

深度学习的算法中广泛涉及到优化（optimization）的问题，而其中最难的当数神经网络(Neural Network)的训练和优化。大型神经网络的训练耗时耗力，所以研究者们开发了一套专门针对深度神经网络的设计和优化的技术。本章将着力于讲解神经网络训练中的参数的优化，使得由训练集性能评估项和正则化项组成的代价函数能够显著降低。结构上，本章首先探讨深度学习中的优化和其他领域纯优化的不同，接着介绍神经网络优化中几种有效的方法，包括优化算法本身和优化初始化参数等不同策略。另一类更高级的算法可以在神经网络训练中自适应调整学习速率，或者挖掘并利用代价函数的二阶导数信息。本章的最后，会对以上各种优化算法和背后的思想进行简单的比较和总结。