感谢子豪大佬的精彩视频讲解分享
链接:【子豪兄】精讲CS231N斯坦福打算机视觉公开课（2020最新）_哔哩哔哩_bilibili「链接」
文章目录
- 斯坦福大学公开课
- 打算机视觉发展历史
- 图像分类算法
- 线性分类、丢失函数与梯度低落
- 神经网络与反向传播
- 卷积神经网络
- 可视化卷积神经网络
- 演习神经网络 （一）
- 激活函数
- 权重初始化
- Batch Normalization （批归一化）
- 总结
- 演习神经网络 （二）
- 优化器
-- SGD
-- SGD + 动量 【Momentum】
-- Nesterov Momentum 【NAG】
-- AdaGrad
-- RMSProp (Leakly AdaGrad)
-- Adam( almost)
-- Adam (full form)
- 学习率
-- 二阶优化法（牛顿法）
- 防止过拟合
- 模型集成
- 正则化
-- Dropout
- 数据增强 （data augement)
-- drop connect
-- Fractional Max Pooling
-- Stochastic Depth
-- Cutout
- 超参数选择
- 总结
- 卷积神经网络工程实践技巧
-- 卷积
-- imcol
-- FFT
- 迁移学习与fine tuning
- 迁移学习
- 卷积神经网络构造案例剖析
. LeNet-5
. AlexNet
. ZFNet (可视化理解反卷积)
.VGG
.GoogleNet
.ResNet
.NetWork in NetWork
- 残差块的质量大于数量的主要性
- 分形网络
- 全附庸模型
- 可支配移动设备
- 元学习 （AI自己演习网络）
- 总结
- 深度学习硬件算力根本 （GPU & TPU）
-- 加速推断的算法
-- SqueezenNet
- 深度学习软件编程框架
- Pytorch
- TensorFlow
- Keras (对小白用户最友好，大略易上手)
- 建议
- 循环神经网络
-- 编码器 & 解码器
-- RNN梯度消逝与梯度爆炸
- LSTM
-Transformer
- 总结
-斯坦福大学公开课-打算机视觉发展历史猫对边缘视觉敏感的研究：
ImageNet:
前置知识：
-图像分类算法
CIFAR10数据集：
L1间隔：将两个位置对应的地方直接相减 （曼哈顿间隔）
LI间隔python代码实现：
LI间隔与L2间隔比拟：
L1间隔对坐标系角度变革比较明显L1间隔适用于坐标系明确的情形：薪水和出勤
KNN图像分类的缺陷：
运算比较慢间隔作为划分的特色不足明显随着维度增加打算量快速增大-线性分类、丢失函数与梯度低落铰链丢失函数：
正则化：
Softmax 分类器：交叉熵丢失函数
导数：
数值解和解析解两种办法：
梯度低落算法：是丢失函数低落，不是梯度本身低落
SGD算法：
一样平常选择2的指数作为批次-神经网络与反向传播
类比自然神经元：
反向传播：
梯度流的形式：
向量的分类：
-卷积神经网络
卷积核：
利用卷积核个数有多少，通道就有多少卷积核的浸染是提取特色池化：
使得神经网络具有平移不变性减少参数量防止过拟合-可视化卷积神经网络提取图像编码参数，进行降维之后进行可视化遮挡实验反卷积方法-演习神经网络（一）-激活函数二分类可以利用sigmoid数据预处理：
-权重初始化权重设置为同一个数？弗成。这样每一个神经元的完备相同。
参数随机初始化？该种初始化会导致梯度消逝。
Xavier初始化根据输入的维度进行确认。
在relu上不成立，该方法条件纲求w和x关于0对称，但是relu>=0
Kaiming/MSRA Initialization 何凯明提出初始化方法 【针对ReLU】-BatchNormalization（批归一化）测试时用演习全局的方差和均值的的数据代替批处理的。演习里面利用的每batch的一批的。
-总结-演习神经网络（二）-优化器传统随机梯度低落优化的缺陷： 竖直方向上存在冗余的梯度
陷入局部最优点
--SGD--SGD+动量【Momentum】--NesterovMomentum【NAG】优化：先看动量下一步根据下一步再打算梯度
--AdaGrad
随着累加分母会变的越来越大，更新量会越来越小。
--RMSProp(LeaklyAdaGrad)引入了衰减因子，类似于动量中的ρ
--Adam(almost)综合考虑了第一和第二动量
--Adam(fullform)-学习率如何评价一个好的学习率？--二阶优化法（牛顿法）一阶导数除以二阶导数，无需设置学习率
海森矩阵有时候打算量比较大，以是不普遍运用，参数爆炸
采取拟牛顿法办理上述的问题。
-防止过拟合提前停滞
-模型集成采取演习过程中不同时候的模型进行集成；多个局部最优点进行集成学习
-正则化--Dropout随机掐去世一半的神经元，有效防止过拟合 每个神经元都能够独当一壁，减少神经元中的联合依赖温柔应性；起到模型集成的效果；找到了紧张抵牾，起到了稀疏性测试阶段不须要该操作，测试的时候须要补偿随机的P（0.5） p=0.5能够使得各个神经元独立平等，不会涌现部分神经元比重过大的情形，对应了$2^n$个模型。缺陷是演习韶光增加了。有效性的阐明：-数据增强（dataaugement)相称于增加了数据；图像裁剪，水平翻转，颜色的偏移和翻转，--dropconnect随机掐去世某一些参数--FractionalMaxPooling随机池化，演习过程中随机天生，大小不愿定--StochasticDepth随机掐去世一些层（resnet)，可以使得网络的深度更大。--Cutout扣掉图片的一部分将不同的物品的图片掺在一起-超参数选择考验初试丢失函数在小数据集上考试测验过拟合
-总结-卷积神经网络工程实践技巧--卷积卷积核实质是二维旗子暗记滤波器卷积的实质是提取图像不同频率的特色加速卷积运算的方法：
--imcol
--FFT-迁移学习与finetuning-迁移学习借助预演习模型，泛化自己的数据集。借助冻结的模型进行特色的提取。
数据库太小的处理方法?-卷积神经网络构造案例剖析.LeNet-5.AlexNet
在LeNet的根本上进行改进
.ZFNet(可视化理解反卷积).VGG.GoogleNet
inception模块, 不同类型的卷积层末了叠加.ResNet.NetWorkinNetWork
-残差块的质量大于数量的主要性-分形网络
-全附庸模型-可支配移动设备-元学习（AI自己演习网络）-总结
-深度学习硬件算力根本（GPU&TPU）
英特尔神经棒：能够实现嵌入式调用神经模型。进行边缘打算，对本地的硬件的哀求比较高。
模型尺寸过大的危害：
紧张能耗在于内存数据的读取--加速推断的算法
--SqueezenNet
.....
关注gzh 司南锤，回答 子豪兄231条记 可获取条记文件