标签:无限上下文

革命新架构掀翻Transformer!无限上下文处理,2万亿token碾压Llama 2

新智元报道了Meta、南加州大学(USC)、CMU和UCSD联合提出的革命性新架构Megalodon,旨在处理无限上下文,并在2万亿token训练任务中超越了Llama2-7B,展现出...