标签：并行计算
「注意力实际上是对数的」？七年前的Transformer还有新发现，Karpathy点赞
在当前的AI社区中，注意力机制的计算复杂度问题再次引发了广泛讨论。作者提出了一种全新的视角，认为Transformer中的注意力机制在计算复杂度上应被视为对数级...
英伟达AI算力的五个层次，2024年GTC大会GB200技术全拆解！
根据文章内容，可以总结如下：1. 英伟达在2024GTC大会上发布了全新的Blackwell AI芯片，研发成本高达100亿美元。该芯片具有非常强大的性能，在单芯片层面就已...
一文读懂：GPU是如何工作的？
根据文章内容的详细介绍和分析，我总结了以下关键观点：1. GPU的工作原理是通过大量并行线程来加速计算，特别适合于执行大量重复性高的计算任务。2. 与CPU相...
从零开始手搓GPU，照着英伟达CUDA来，只用两个星期
Adam Majmudar，一位美国web3开发公司的创始工程师，分享了他在两周内从零开始构建GPU的经历。他的项目在GitHub上公开，获得了5300个Star。Majmudar的GPU设计...
超越英伟达！字节跳动MegaScale如何实现大规模GPU的高效利用？
在2024年2月，字帖跳动发布了一篇关于大语言模型训练框架的论文《MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs》。MegaScale...
