2018.11.21

索尼通过分布式学习刷新全球深度学习技术速度 助力高效开发人工智能

日本 2018年11月13日 –人工智能桥接云基础设施(ABCI)是用于AI处理的世界级计算基础架构,由日本产业技术综合研究所(AIST)建造并 运营。索尼公司近日宣布,已利用 ABCI和其深度学习开发框架“核心库:神经网络库”,刷新了全球深度学习技术速度。

深度学习是一种使用模仿人脑神经网络的机器学习方法。通过利用深度学习,近年来图像和声音识别能力得以迅速增长,甚至在某些领域的表现已优于人类。 然而,由于用于学习的数据和用于提高识别准确度的模型参数不断加大,导致计算时间不断增多。 在某些情况下,进行一次学习需要数周甚至数月时间。由于AI开发是一个需要连续试错的过程,缩短学习时间至关重要。因此,目前使用多个GPU缩短学习时间的分布式学习是一种普遍的解决方案。

当增加用于分布式学习的GPU数量时,有时批量数据的增加(一次要处理的数据量)会让学习过程暂停,或出现由于GPU之间的数据传输处理延迟导致学习速度降低等情况。通过利用可确定合理数据批量大小和适当GPU数量的技术,索尼实现了在ABCI等大规模GPU环境中进行学习,并提高了通过针对ABCI系统结构优化的数据同步技术而实现的GPU之间的传输速度。这些技术被运用于“神经网络库”中,并使用AIST的“ABCI Grand Challenge”ABCI计算资源进行学习。因此,它能够在大约3.7分钟内(当使用多达2,176个GPU时)完成ImageNet / ResNet-50 (用于测量深度学习分布式学习速度的一般行业基准),刷新了全球深度学习技术速度。点击查阅该项研究结果

该实验的结果表明,使用神经网络库进行的学习或执行(深度学习)可以刷新全球深度学习技术速度,并且通过使用这一框架,可在更短试验期间内,使用深度学习进行技术开发。展望未来,索尼将继续开发相关技术,并致力于利用人工智能技术为社会发展做贡献。

图片