大模型动力引擎 PyTorch性能与显存优化手册
作 者 ：张爱玲，杨占略著
出版发行 : 北京：清华大学出版社 , 2024.10
ISBN号 ：978-7-302-67347-7
页 数 ： 217
原书定价 : 89.00
开本 : 16开
中图法分类号 : TP181-62 ( 工业技术->自动化技术、计算机技术->自动化基础理论->人工智能理论 )
内容提要: 本书致力于探索如何在大规模深度学习模型训练中，最大限度地提高性能和优化显存使用。本书面向深度学习从业者，尤其是希望深入了解并提升模型训练效率的工程师与研究人员。随着深度学习模型和数据规模的迅速增长，如何高效利用硬件资源，减少训练时间，成为当前AI系统工程的关键挑战。本书从硬件和软件的基础知识入手，逐步引导读者理解和掌握PyTorch的优化技巧。内容涵盖从单机到分布式训练，从显存管理到性能分析的多种优化策略，力求通过丰富的代码实例和深入的原理讲解，使读者能够在实践中灵活应用这些方法。