PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍

AIGC动态欢迎阅读

原标题：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
关键字：版本,内核,性能,分布式,多维
文章来源：新智元
内容字数：5180字

内容摘要：

新智元报道编辑：alan
【新智元导读】新的一年，PyTorch也迎来了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，计算性能翻倍。新的一年，PyTorch也迎来了重大更新！
继去年十月份的PyTorch大会发布了2.1版本之后，全世界各地的521位开发者贡献了3628个提交，由此形成了最新的PyTorch 2.2版本。
新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相较于之前的版本有了约2倍的性能提升。
PyTorch 2.2还引入了一个新的TorchInductor提前扩展，称为 AOTInductor，旨在为非python服务器端编译和部署PyTorch程序。
PyTorch中的torch.distributed支持了一个叫做device_mesh的新抽象，用于初始化和表示ProcessGroups。
另外，PyTorch 2.2提供了一个标准化的、可配置的日志记录机制，——TORCH_LOGS。
PyTorch 2.2还对torch.compi

原文链接：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍