DeepLearningBook读书笔记

前言

  作为人工智能领域目前的最大研究热点，同时也是近年来为各种智能任务带来最大突破的技术方向 – 深度学习或者说神经网络正吸引着无数研究人员的眼球。事实上，传统的神经网络结构和算法早在上个世纪就已经被提出，但由于当时的任务需求仍远未达到传统机器学习算法的瓶颈，同时神经网络算法也受限于计算和数据资源，因此并未被普遍关注。

  近些年来，依靠人工设计高质量特征的传统机器学习算法在语音识别、自然语言处理以及图像处理等方面逐渐达到瓶颈，人们开始将目光重新转向神经网络，利用已经积累的大量数据资源在这一系列智能任务上取得了突破性的进展。包括语音识别、语义理解、图像识别等在内的研究领域中目前state-of-the-art的结果几乎清一色的都是采用了基于深度学习的方法。同时，GPU强大的并行计算能力以及包括TensorFlow、MXNet、Pytorch等在内的一系列深度学习框架的推出也为研究者和应用开发者提供了极大便利。

  DeepLearningBook是目前第一本系统和完整的介绍深度学习的书籍，其作者包括深度学习领域的奠基人、处于研究生涯中期的领域中坚、更有近年来涌现的新星，非常适合搭建理论基础。但是直至去年，本书只有英文原版，对于大多数开发者来说，啃一本800页7*9英寸的书籍，难度可想而知。 好消息是，在翻译人员的不懈努力下，DeepLearningBook中文版也已在GitHub上公开，中文翻译版已经由人民邮电出版社出版。

  这个项目记录了我们对DeepLearningBook的学习笔记，我们按照全书的脉络对Deep Learning的基础框架进行了梳理和学习，同时将会附上使用TensorFlow实现的相关代码。

GitHub的markdown不再支持tex公式的解析显示，使用Chrome的同学可以安装GitHub with MathJax添加MathJax的解析以对公式正常显示。

如果需要直接阅读模式，可以移步至我们的github.io进行阅读：DeepLearningBook读书笔记

目录

1. 数学基础
   1. 线性代数
   2. 概率与信息论
   3. 数值计算
2. 机器学习基础与实践
   1. 机器学习基础
   2. TensorFlow实战
3. 深度前馈网络
4. 深度学习中的正则化
5. 深度学习中的优化
6. 卷积网络
7. 循环递归网络
   1. RNN示例
   2. CharRNN示例
   3. 序列到序列学习
   4. LSTM
8. 实践调参
9. 线性因子模型
10. 自编码器
11. 表示学习
12. 结构化概率模型
13. 蒙特卡洛方法
14. 玻尔兹曼机
15. 有向生成网络
16. 生成对抗网络

持续更新中，欢迎贡献简单易懂便于理解的代码示例，推荐使用Tensorflow和Jupyter Notebook提交代码和说明，详见：如何贡献代码。

致谢

我们分为两个类别的贡献者。

• 负责人也就是对应的该章节案例维护者。
• 贡献者对应于主要的案例开发者。

还有很多同学提出了不少建议，我们都列在此处。

@endymecy …

如有遗漏，请务必通知我们，可以发邮件至echo c3dvcmQueW9ya0BnbWFpbC5jb20K | base64 --decode。 这是我们必须要感谢的，所以不要不好意思。