Notes on Deep Learning

前言

  总结Deep Learning学习过程中的经验与有用的书籍、论文与资源。所有项按内容分类，对于每一条目：书籍就我个人的感受分为教材（适合入门）、参考书（内容丰富详实 或者特别难）、引申阅读（某章写的比较好或者比较深入）；研究型论文按照以下三个标准评分，每项均为0到10（参考了如何判断（你自己的）研究工作的价值）：

• N（novelty）：创新性，在之前的研究上有哪些新意
• R（reproducibility）：可复现性，论文idea能否复现？实际任务中能否达到论文中的效果？
• V（value）：idea的价值，论文对于怎样的问题研究有着怎样的推进？

综述型论文只打一个总体分；还有其他的一些资源，包括开源repo或项目、博客、专栏、电子书、视频等等。

• 数学
• 深度学习基础
• 深度学习优化算法
• Diffusion Models
• 3D Generation

数学

1. 数学分析

• 教材：

  • 《数学分析教程 第3版》，常庚哲 史济怀，中科大出版社

2. 高等代数

• 教材：

  • 《线性代数》，李尚志，高等教育出版社
  • 《线性代数应该这样学（第 3 版）》，Sheldon Axler，人民邮电出版社
  • （偏向矩阵论）《矩阵分析与应用（第 2 版）》、《矩阵分析与应用 习题解答》，张贤达，清华大学出版社

• 参考书：

  • （难）《线性代数》，李烔生 et al，中科大出版社

3. 凸优化&最优化理论

  只是偏数学的部分，深度学习优化器见：Notes on Optimization Algorithms in Deep Learning

• 教材：

  • 《Convex Optimization》，Stephen Boyd et al，清华大学出版社
  • 《Lectures on Convex Optimization》，Yurii Nesterov

• 参考书：

  • 《First-Order Methods in Optimization》，Amir Beck

• 资料：

  • （Course）ECE236B - Convex Optimization，Lieven Vandenberghe, UCLA
  • （Course）Convex Optimization: Fall 2013，Barnabas Poczos，Ryan Tibshirani , CMU

4. 随机过程

• 教材：

  • 《随机过程》，郑坚坚，中国科学技术大学出版社
  • 《随机过程及其应用》，陆大䋮 张颢，清华大学出版社

• 资料：

  • （Course）[随机过程 张颢 2020-2021学年]，张颢，中国科学院大学

深度学习基础

• 教材：

  • 《深度学习 (中译)》，Ian Goodfellow et al，人民邮电出版社
  • 《神经网络与深度学习》，邱锡鹏，机械工业出版社

• 引申阅读：

  • （第4到6章）《深度学习原理与实践》，陈仲铭 et al，人民邮电出版社
  • （第2到11章）《解析深度学习 卷积神经网络与视觉实践》，魏秀参，电子工业出版社

• 综述型：

  • （uncompleted）Theory of Deep Learning，Raman Arora et al
  • The Principles of Deep Learning Theory，Daniel A. Roberts et al，arXiv，2021.

深度学习优化算法

  参见：

Diffusion Models

  参见：

3D-Generation

  参见：