Theory, Papers of Deep Learning DL

see also: /dl-do-it

• ML Interpratation, Comprehensibility & Causality

MIXED TUTORIAL + TRIKCS #

• Google: TF, DL, Tutorial, Tricks, etc
• The Ultimate Course and Book list to be an expert in Mathematics and Programming (Content: Discrete Mathematics, Linear Algebra, Calculus, Probability, Cryptography, Geometry and Statistics. 45 Mathematics Courses)
• Deep Learning and Reinforcement Learning Summer School 2018 - Yoshua Bengio etc.
• 深度学习课程笔记 by Tess Ferrandez, recommended by Andrew Ng

PAPERS, TERMS & DEFINATIONS #

• 一文读懂自注意力机制：8 大步骤图解+代码 ref: Illustrated: Self-Attention – Step-by-step guide to self-attention with illustrations and code
• [典型/经典 DL/NLP 模型] 读完这 45 篇论文，“没人比我更懂 AI 了”
• 如何开启深度学习之旅？这三大类 125 篇论文为你导航
• Github DL papers DeepLearningBook/DeepLearningPapers.md
• Papers Milestone AndrewYuan.github.io/
• DL without PhD By Google Cloud NEXT2017. backup evernote
• 浅析 Hinton 最近提出的 Capsule 计划
• 一起读懂传说中的经典： Restricted Boltzmann Machine(RBM) 受限波尔兹曼机
• RWA in ostmeyer2017machine ( 代码实现了一个用于处理连续数据的新型 RNN 模型，该模型计算每个预处理步骤的复现加权平均值（RWA）。使用这种方法，模型可以沿着序列方向，在任何位置形成直接连接。这与仅使用预处理的传统 RNN 架构相反。 )
• [DL 基本理论] 邹晓艺专栏 |Deep Learning 系列笔记 2013
• TinyBERT：模型小 7 倍，速度快 8 倍，华中科大、华为出品. tip: 1~2min with a single NVIDIA K80 GPU. (see also FastBert in /dl-do-it)

ToC:
一 ~ 三、概述, 背景, 人脑视觉机理
四、关于特征: 特征表示的粒度; 初级（浅层）特征表示; 结构性特征表示; 需要有多少个特征？
五 ~ 七、Deep Learning 的基本思想 (vs. Shallow Learning), Neural Network
八、Deep learning 训练过程: 传统神经网络 vs. deep learning
九、Deep Learning 的常用模型或者方法: AutoEncoder 自动编码器; Sparse Coding 稀疏编码; Restricted Boltzmann Machine(RBM) 受限波尔兹曼机; Deep BeliefNetworks 深信度网络; Convolutional Neural Networks 卷积神经网络
十、总结与展望
十一、参考文献和 Deep Learning 学习资源