标签:对数

「注意力实际上是对数的」?七年前的Transformer还有新发现,Karpathy点赞

在当前的AI社区中,注意力机制的计算复杂度问题再次引发了广泛讨论。作者提出了一种全新的视角,认为Transformer中的注意力机制在计算复杂度上应被视为对数级...