标签:流式处理

标点符号成大模型训练神器!KV缓存狂减一半,可处理400万Tokens长序列,来自华为港大等 | 开源

华为、港大等机构的研究团队提出了一种基于自然语言分隔符的新型大语言模型SepLLM,通过将文本语义信息压缩至标点符号中,显著提升了训练推理效率。该方法发...

开源版GPT-4o来了,AI大神Karpathy盛赞!67页技术报告全公开

法国初创团队Kyutai开发的端到端语音模型Moshi已经开源,该模型以其自然聊天、情绪丰富、支持打断和非回合制对话等特点受到关注。模型参数量为7.69B,支持在p...