您好、欢迎来到现金彩票网!
当前位置:至尊彩票 > 浮点数 >

富士通实验室在747秒内完成了ImageNet上训练ResNet-50网络

发布时间:2019-04-30 19:58 来源:未知 编辑:admin

  在过去两年中,深度学习的速度加速了 30 倍。但是人们还是对 “快速执行机器学习算法” 有着强烈的需求。

  Large mini-batch 分布式深度学习是满足需求的关键技术。但是由于难以在不影响准确性的情况下在大型集群上实现高可扩展性,因此具有较大的挑战难度。

  基于大数据集的深度神经网络 (DNN) 模型在对象检测、语言翻译等领域取得了令人瞩目的成果。然而,随着 DNN 模型和数据集规模的增大,DNN 训练的计算量也随之加剧。

  在这种方法中,集群上启动的所有进程都具有相同的 DNN 模型和权重。每个过程都用不同的 mini-batch 训练模型,但是来自所有过程的权重梯度被组合以更新所有权重。

  为了减少大型集群的开销,该研究增加了 DNN 的 mini-batch 大小,且并行计算了 DNN 训练。然而,在 minni-batch 训练中,DNN 模型的验证精度普遍较差。

  因此,研究者们采用了几种技术来增加 mini-batch 的大小,这表明了在迭代中计算的输入图像的数量,而不会影响验证的准确性。

  这部分采用了通常用于深度学习优化器的随机梯度下降(SGD)。在对 large mini-batch 进行训练时,SGD 更新的数量随着小型批大小的增加而减少,因此提高 large mini-batch 的最终验证精度是一个很大的挑战,本文采用了以下技术。

  学习速率控制:由于更新数量较少,需要使用高学习率来加速训练。 然而,高学习率使得模型训练在早期阶段不稳定。 因此,我们通过使用逐渐提高学习率的预热 (warmup) 来稳定 SGD。此外,对于某些层,所有层的学习速率都太高了,还通过使用层次自适应速率缩放(LARS)来稳定训练,LARS 根据规范权重和梯度调整每层的学习速率。

  其它技术:据报道,标签平滑提高了 32,768 个 mini-batch 的准确性。本文也采用了这种方法,并对 81920 个 mini-batch 进行了精度改进。

  batch 标准化层的均值和方差的移动平均 (moving average) 在每个过程中独立计算,而权重是同步的。这些值在 large mini-batch 上变得不准确;因此,本文调整了一些超参数来优化移动平均线。

  我们使用了 MXNet,MXNet 具有灵活性和可扩展性,能够在集群上高效地训练模型。然而,在中小型集群环境中只占总时间的一小部分的处理方式可能成为大规模集群环境中的瓶颈。我们使用了几个分析器来分析 CPU 和 GPU 性能,找出了瓶颈。我们对瓶颈进行了优化,提高了训练吞吐量。

  在数据并行分布式深度学习中,必须初始化所有层,使所有进程的权重相同。通常,根进程初始化模型的所有权重。然后,进程将这些权重传递 (broadcast) 给所有进程。传递时间随着进程数量的增加而增加,在有成千上万个进程进行分布式深度学习时,其成本不可忽视。

  因此,我们采用了其他初始化方法,即每个进程具有相同的种子并并行地初始化权重。这种方法无需 broadcast 操作就可以同步初始权重。

  每层的 norm 计算都需要使用 LARS 更新权重。与 GPU 上的内核数量相比,ResNet-50 的大多数层没有足够的权重。如果我们在 GPU 上计算每一层的 weight norm,线程数不足以占据所有 CUDA 核心。因此,我们实现了一个特殊的 GPU 内核,用于 batched norm 计算到 MXNet。该 GPU 内核可以启动足够数量的线程,并且可以并行计算层的范数。

  分布式并行深度学习要求所有 reduce 通信在所有进程之间交换每一层的梯度。在大集群环境中,由于每个 GPU 的 batch size 较小,使得通信时间变长,计算时间变短,因此 reduce communication 开销是不可忽略的。为了克服这些问题,我们采用了以下两种优化方法。

  图 1:ABCI 集群中一个计算节点的示意图。它由两个 GPU、四个 GPU 和两个连接到相应 CPU 的 HCA 组成。

  我们使用混合精度方法,使用半精度浮点数计算和通信,并使用单精度浮点数更新权重。我们使用了原始优化器,它可以很好地控制学习率。除了稳定训练精度外,我们还使用了 warmup 和 LARS 技术。

  我们对 ResNet-50 训练的测量依据 MLPerf v0.5.0 规则。也就是说,我们度量了从 “run start” 到 “run final” 的运行时间,其中包括初始化和内存分配时间。

  我们还测量了 ResNet-50 的可扩展性。图 2 显示了根据 GPU 数量计算的吞吐量。在图 2 中,虚线表示理想的每秒图像吞吐量,实线表示我们的结果。如图表明,直到 2048 个 GPU,我们的框架的可扩展性都非常好。使用 2048 个 GPU 的吞吐量为每秒 170 万张图像,可扩展性为 77.0%。

  图 4 显示了训练精度与验证精度的对比。从图中可以看出,使用 batch normalization 和 label smoothing 技术,我们的验证精度结果并没有过拟合。

  Facebook AI研究团队描述了一个能够从现实世界视频中提取可控角色的系统

  基于YOLOv2模型的监控系统丧失对人物的识别能力,从而实现在摄像头下顺利”隐身”的效果

http://steveouch.com/fudianshu/150.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有