标签：PyTorch
新PyTorch API：几行代码实现不同注意力变体，兼具FlashAttention性能和PyTorch灵活性
机器之心报道了PyTorch团队为解决注意力机制实现中的超立方体问题而引入的FlexAttention。注意力机制在机器学习中至关重要，但现有的实现如FlashAttention虽...
突破CUDA包围圈，再出一招
Nvidia在AI行业中的影响力不容小觑，其推出的CUDA平台为AI硬件提供了强大的软件支持。尽管CUDA并非开源，但其免费提供且由Nvidia控制，使得其他公司难以在高...
如何用深度学习框架 PyTorch 进行数据处理？ | Q 福利
在深度学习中，数据预处理是保证模型训练效率和泛化能力的关键环节。PyTorch作为流行的深度学习框架，提供了丰富的数据处理工具，可以轻松实现数据的加载、清...
谷歌狂喜：JAX性能超越Pytorch、TensorFlow！或成GPU推理训练最快选择
新智元最近的报道关注了JAX这一谷歌力推的平台，它在最新的基准测试中表现出色，超越了PyTorch和TensorFlow。这些测试结果表明，JAX在七项指标中排名第一，而...
如何从头开始编写LoRA代码，这有一份教程
本文介绍了一种名为 LoRA（Low-Rank Adaptation） 的微调技术，用于微调大语言模型（LLM）。LoRA 是一种流行的技术，通过仅更新一小部分低秩矩阵而不是整个神...
Meta公开 Llama-3基础训练设施：使用了49,000个H100
3月13日，Meta宣布推出两个全新的24K H100 GPU集群，用于训练大型模型Llama-3。Llama-3采用RoCEv2网络和基于Tectonic/Hammerspace的NFS/FUSE网络存储，同时使...
