章节

深度学习框架及其发展形势的思考

摘要

深度学习框架下接芯片、上承应用,为模型的开发、训练和部署提供系统的支撑,极大地加速人工智能创新研发与应用,其作用类比人工智能时代的操作系统。本文对深度学习框架发展现状、核心技术及生态要素进行深入调研分析,从人工智能产业化需求、软硬件适配与融合优化、大模型快速发展及科学计算前沿交叉领域等不同视角,剖析深度学习框架发展趋势及面临的挑战,并从加速深度学习框架与硬件的适配融合、支持国内主流深度学习框架推广、发挥深度学习框架对AI for Science的支撑作用、加快发展国产深度学习框架生态等方面提出对策建议。

作者

马艳军 ,博士,百度深度学习技术平台部高级总监、百度AI技术生态总经理,教授级高工,主要研究方向为自然语言处理及深度学习,相关研究成果在百度产品中广泛应用。
于佃海 ,硕士,百度飞桨总架构师、百度集团机器学习平台TOC主席,教授级高工,整体负责飞桨平台的核心技术,长期从事自然语言处理、机器学习、深度学习相关的技术研发应用和平台建设工作。

参考文献 查看全部 ↓
  • IDC:《2022中国大模型发展白皮书》,2022。
  • IDC:《中国深度学习框架和平台市场份额,2022H2》,2022。
  • 深度学习技术及应用国家工程研究中心、中国信息通信研究院:《深度学习平台发展报告(2022年)》,2022。
  • Abadi M.,Barham P.,Chen J.,et al.,“Tensorflow:A system for large-scale machine learning”,12th {USENIX} Symposium on Operating Systems Design and Implementation ({OSDI}16).2016:265-283.
  • Chen,Tianqi,Mu,Li,et al.,“Mxnet:A flexible and efficient machine learning library for heterogeneous distributed systems”,arXiv preprint arXiv:1512.01274 (2015).
  • Ma Y.,Yu D.,Wu T.,et al.,“PaddlePaddle:An open-source deep learning platform from industrial practice”,Frontiers of Data and Domputing,2019,1(1):105-115.
  • Paszke A.,Gross S.,Massa F.,et al.,“Pytorch:An imperative style,high-performance deep learning library”,Advances in neural information processing systems,2019,32.
  • Wang S.,Sun Y.,Xiang Y.,et al.,“Ernie 3.0 titan:Exploring larger-scale knowledge enhanced pre-training for language understanding and generation”,arXiv preprint arXiv:2112.12731,2021.

深度学习框架及其发展形势的思考

可试读20%内容 PDF阅读 阅读器阅览

试读已结束,剩余80%未读

¥6.17 查看全文 >

VIP免费

章节目录

  • 一 深度学习框架及其意义
  • 二 国内外深度学习框架发展现状
    1. (一)国外深度学习框架发展现状
    2. (二)国内深度学习框架发展现状
    3. (三)主流深度学习框架中国市场竞争情况
  • 三 深度学习框架的核心技术
    1. (一)动静统一的开发范式
    2. (二)超大规模模型训练技术
    3. (三)多端多平台部署的高性能推理引擎
    4. (四)产业级模型库
  • 四 深度学习框架产业链及生态分析
    1. (一)深度学习框架上下游产业链分析
    2. (二)深度学习框架生态建设关键要素
  • 五 深度学习框架发展趋势与挑战
    1. (一)深度学习框架与硬件适配及融合优化的重要性持续提升
    2. (二)大模型技术的创新突破对深度学习框架提出了更高的要求
    3. (三)AI科学计算等前沿交叉领域亟须深度学习框架的全面支撑
  • 六 深度学习框架的发展对策
    1. (一)加速深度学习框架与硬件的适配融合,构筑互联互通的人工智能基础
    2. (二)加快国内主流深度学习框架推广,支撑大模型应用和产业化进程
    3. (三)充分发挥深度学习框架对AI for Science的支撑作用,加速科学前沿突破
    4. (四)加快发展国产深度学习框架生态

章节图片/图表

查看更多>>>