深度学习系统学习系列【1】之基本知识

说明

在这里插入图片描述

机器学习按照方法主要可以分为两大类：监督学习和无监督学习。其中监督学习主要由分类和回归等问题组成，深度学习则属于监督学习当中的一种；无监督学习主要由聚类和关联分析等问题组成。
机器学习中的监督学习是指使用算法对有标注的数据进行解析，从数据中学习特定的结构模型，使用模型来对未知的新数据进行预测。通俗来说，监督学习就是通过对数据进行分析，找到数据的表达模型，然后套用该模型来做决策。
监督学习的一般方法主要分为训练和预测阶段。
- 在训练阶段（对数据进行分析的阶段），根据原始的数据进行特征提取【特征工程】。得到特征后，使用决策树、随机森林等模型算法去分析数据之间的特征或者关系，最终得到关于输入数据的模型（Model)。
- 在预测阶段，同样提取数据后，使用训练阶段获得的模型对特征向量进行预测，得到最终的标签（Labels）。

机器学习算法中不同的模型使用自己特定的规则去解释输入的数据，然后对新输入的数据进行预测和判断。例如决策树的模型，是构建一个树形结构，一个节点代表一种数据类型，一个叶子节点则代表一种类别；线性回归模型利用线性回归方程创建一组参数来表示输入的数据之间的关系；神经网络则有一组权重参数向量来代表节点之间的关系。

在实际情况中，如果输入的数据受到影响导致特征数据变化，传统机器学习的算法的有效性就会降低，如当遇到雨雪天气时，马路一旁的标志牌变模糊，抑或标志牌被树木遮挡时，标志牌的特征也会改变。

深度学习自动筛选数据，自动提取数据高维特征。选择深度学习，一方面它节省时间，降低工作量，提高工作效率；另一方面是深度学习的效果，在众多领域能够获得比人类预测的更好的效果：此外，深度学习还可以与大数据无缝结合，输入庞大的数据集进行大数据端到端的学习过程，这种大道至简的理念吸引着无数的研究者。

三U之CPU、GPU、NPU
硬件加速器是深度学习应用的核心要素，能够获得巨大的计算性能提升。
GPU 作为硬件加速器之一，通过大量图形处理单元与 CPU协同工作，对深度学习、数据分析，以及大量计算的工程应用进行加速。
统一计算设备架构（Compute Unified Device Architecture, CUDA）。随着 GPU 的发展， GPU 开始主要为显示图像做优化，在计算上超越通用的 CPU。 NVIDIA 推出 CUDA这一通用并行计算架构，该架构使GPU能够解决复杂的计算问题。
GPU 是大规模并行架构，擅长处理并行任务。GPU 的并行架构非常合适深度学习需要高效的矩阵操作和大量的卷积操作。
GPU的特性：高宽带；高速缓存性能；并行单元多。
用 GPU来进行深度学习，在 $L 1$ 高速缓存中和 $GP U$ 的寄存器上存储大量的数据，反复使用卷积操作和矩阵乘法操作，而不用担心运算应度慢的问题。假设有一个 $100 MB$ 的矩阵，根据寄存器的数量和高速缓存的大小把该矩阵分解成多个如 $3 \times 3$ 的小矩阵，然后以 $10 - 80 TB / s$ 的速度与一个三通道的 $3 \times 3$ 的小矩阵相乘完成一次卷积操作。
对于深度学习的加速器GPU，初学者推荐使用 NVIDIA显卡。英伟达公司押注人工智能与深度学习，GPU资源充分。CUDA平台来说，其社区完善，很多开源解决方案为后续编程。