DeepLearning Tutorial
一. 入门资料
完备的 AI 学习路线，最详细的中英文资源整理 :star:
AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL
Machine-Learning
数学基础
机器学习基础
快速入门
深入理解
深度学习基础
快速入门
计算机视觉
自然语言处理
深度强化学习
深入理解
一些书单
工程能力
- 如何系统地学习算法？ && LeetCode && leetcode题解 && 《算法导论》中算法的C++实现
- 机器学习算法实战
- 深度学习框架
- 如何成为一名算法工程师 && 从小白到入门算法，我的经验分享给你～ && 我的研究生这三年 :star:
- 编程面试的题目分类
- 《AI算法工程师手册》
- 如何准备算法工程师面试，斩获一线互联网公司机器学习岗offer？
- 【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离
- 计算机相关技术面试必备 && CS-WiKi && 计算机基础面试问题全面总结 && TeachYourselfCS-CN && 面试算法笔记-中文
- 算法工程师面试
- 深度学习面试题目
- 深度学习500问
- AI算法岗求职攻略
- Kaggle实战
- 常用算法：
- Feature Engineering：continue variable && categorical variable
- Classic machine learning algorithm：LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network
- Cross validation, model selection：grid search, random search, hyper-opt
- Ensemble learning
- kaggle竞赛宝典第一章-竞赛框架篇！:star:
- Kaggle 项目实战（教程） = 文档 + 代码 + 视频
- Kaggle入门系列：（一）机器学习环境搭建 && Kaggle入门系列：（二）Kaggle简介 && Kaggle入门系列（三）Titanic初试身手
- 从 0 到 1 走进 Kaggle
- Kaggle 入门指南
- 一个框架解决几乎所有机器学习问题 && Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur
- 分分钟带你杀入Kaggle Top 1%
- 如何达到Kaggle竞赛top 2%？这里有一篇特征探索经验帖
- 如何在 Kaggle 首战中进入前 10%？
- Kaggle 首战 Top 2%, APTOS 2019 复盘总结 + 机器学习竞赛通用流程归纳
- kaggle的riiid比赛里关于数据处理时间空间优化的笔记
- 大数据&机器学习相关竞赛推荐
二. 神经网络模型概览
CNN
发展史
图像分类
目标检测
图像分割（语义分割、实例分割、全景分割）
轻量化卷积神经网络
人脸相关
图像超分辨率
行人重识别
图像着色
边检测
OCR&&文本检测
点云
细粒度图像分类
图像检索
人群计数
教程
前馈神经网络
激活函数
反向传播算法
优化问题
卷积层
池化层
卷积神经网络
图像分类网络详解
- 经典CNN模型LeNet解读
- 机器学习进阶笔记之三 | 深入理解Alexnet
- 一文读懂VGG网络
- Inception V1,V2,V3,V4 模型总结
- ResNet解析
- 一文简述ResNet及其多种变体
- CapsNet入门系列
- 深入剖析MobileNet和它的变种（例如：ShuffleNet）为什么会变快？
- CNN模型之ShuffleNet
- ShuffleNet V2和四个网络架构设计准则
- ResNeXt 深入解读与模型实现
- 如何评价Momenta ImageNet 2017夺冠架构SENet?
- CBAM：卷积块注意力模块 && CBAM: Convolutional Block Attention Module
- SKNet——SENet孪生兄弟篇
- GCNet：当Non-local遇见SENet
- 深度学习笔记（十一）网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv
- 如何评价最新的Octave Convolution？
- ResNeSt 之语义分割 && 关于ResNeSt的点滴疑惑 && ResNeSt在刷榜之后被ECCV2020 strong reject
目标检测网络详解
图像分割网络详解
注意力机制
特征融合
Action
GAN
发展史
教程
Action
RNN
发展史
教程
Action
GNN
发展史
教程
Action
三. 深度模型的优化与正则化
- 1. 优化算法纵览
- 2. 从梯度下降到Adam
- 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法
- 4. 正则化技术总结
- 权重衰减（weight decay）与学习率衰减（learning rate decay） && pytorch必须掌握的的4种学习率衰减策略
- 5. 最优化算法系列（math）
- 6. 神经网络训练中的梯度消失与梯度爆炸
- 7. 神经网络的优化及训练
- 8. 通俗讲解查全率和查准率 && 全面梳理：准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1 && 机器学习之类别不平衡问题 (1) —— 各种评估指标 && 机器学习之类别不平衡问题 (2) —— ROC和PR曲线 && AUC详解与python实现 && 微平均和宏平均 && 机器学习中的性能度量 && 精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么
- 激活函数一览 && 深度学习中几种常见的激活函数理解与总结
- 深度学习笔记(三)：激活函数和损失函数
- 激活函数/损失函数汇总
- 机器学习中常见的损失函数及其应用场景 && PyTorch的十八个损失函数
- 深度度量学习中的损失函数
- 反向传播算法（过程及公式推导）
- 通俗理解神经网络BP传播算法
- 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
- 11. 机器学习各种熵
- 12. 距离和相似性度量
- 13. 机器学习里的黑色艺术：normalization, standardization, regularization && 数据标准化/归一化normalization && 特征工程中的「归一化」有什么作用？
- 14. LSTM系列的梯度问题
- 15. 损失函数整理
- 16. 详解残差块为何有助于解决梯度弥散问题
- 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制
- 18. Batch Normalization（BN）:1 ,2 ,3 ,4 , 5, 6, 7
- 19. 详解深度学习中的Normalization，不只是BN && 如何区分并记住常见的几种 Normalization 算法
- 20. BFGS
- 21. 详解深度学习中的梯度消失、爆炸原因及其解决方法 && 神经网络梯度消失和梯度爆炸及解决办法
- 22. Dropout, 1, 2, 3，系列解读Dropout
- 23.谱归一化（Spectral Normalization）的理解，常见向量范数和矩阵范数，谱范数正则（Spectral Norm Regularization）的理解
- 24.L1正则化与L2正则化 && 深入理解L1、L2正则化 && L2正则=Weight Decay？并不是这样 && 都9102年了，别再用Adam + L2 regularization
- 25.为什么选用交叉熵而不是MSE &&为什么使用交叉熵作为损失函数 &&二元分类为什么不能用MSE做为损失函数？&& 为什么平方损失函数不适用分类问题？
- 浅谈神经网络中的梯度爆炸问题
- 为什么weight decay能够防止过拟合
- 交叉熵代价函数（作用及公式推导） && 交叉熵损失的来源、说明、求导与pytorch实现 && Softmax函数与交叉熵 && 极大似然估计与最小化交叉熵损失或者KL散度为什么等价
- 梯度下降优化算法纵览, 1, 2, 几种优化算法的比较（BGD、SGD、Adam、RMSPROP）
- Softmax：详解softmax函数以及相关求导过程 && softmax的log似然代价函数（公式求导） && 【技术综述】一文道尽softmax loss及其变种
- 从最优化的角度看待Softmax损失函数 && Softmax理解之二分类与多分类 && Softmax理解之Smooth程度控制 && Softmax理解之margin
- 权重初始化
- 为什么说bagging是减少variance，而boosting是减少bias?
四. 炼丹术士那些事
调参经验
刷排行榜的小技巧
图像分类
目标检测
五. 年度总结
六. 科研相关
深度学习框架
Python3.x(先修)
Numpy(先修)
Opencv-python
Pandas
Tensorflow
MXNet
PyTorch
深度学习常用命令
Python可视化
标注工具
数据集
记笔记工具
会议期刊列表
论文写作工具
论文画图工具
论文写作教程
ResearchGos
毕业论文排版
信号处理
傅里叶变换
小波变换
实战
机器学习理论与实战
机器学习理论篇之经典算法
信息论
多层感知机(MLP)
k近邻(KNN)
k均值(K-means)
朴素贝叶斯(Naive Bayesian)
决策树(Decision Tree)
随机森林(Random Forest)
线性回归（Linear Regression）
逻辑回归(Logistic Regression)
支持向量机(SVM)
提升方法(Adaboost)
梯度提升决策树(GBDT)
EM(期望最大化)
高斯混合模型(GMM)
马尔科夫决策过程(MDP)
条件随机场(CRF, 判别式模型)
降维算法
主成分分析(PCA)
奇异值分解(SVD)
线性判别分析(LDA)
标签传播算法(Label Propagation Algorithm)
蒙塔卡罗树搜索(MCTS)
集成(Ensemble)
t分布随机邻居嵌入(TSNE)
谱聚类(Spectral Clustering)
异常点检测
机器学习实战篇
机器学习、深度学习的一些研究方向
多任务学习(Multi-Task Learning)
零次学习(Zero Shot Learning)
小样本学习(Few-Shot Learning)
多视觉学习(Multi-View Learning)
嵌入(Embedding)
迁移学习(Transfer Learning)
域自适应(Domain Adaptation)
强化学习(Reinforcement Learning)
对比学习(Contrastive Learning)
推荐系统(Recommendation System)
论文列表
教程
实战
一份中文深度学习教程——收录了大量课程、书籍、讲义、综述和代码的链接,从数学基础一路讲到 CNN、GAN、RNN 和 GNN,还包含 Kaggle 实战和面试准备。