MiniMax 基于 Apache Doris 升级日志系统，PB 数据秒级查询响应技术实践

161 0 0

文章摘要

【关键词】 通用AI、日志系统、性能优化、Apache Doris、数据湖仓

MiniMax公司，作为通用人工智能科技领域的领先企业，自主研发了多种模态的通用大模型，包括具有万亿参数的MoE文本大模型、语音大模型和图像大模型。公司致力于通过持续迭代大模型，实现与用户共创智能的愿景。2024年4月，MiniMax推出了国内首个商用的MoE架构大语言模型“MiniMax-abab 6.5”，其性能接近国际领先水平。

随着AI模型复杂度和调用量的增加，模型训练和推理产生的运行日志量也在激增。这些日志数据对于AI应用的运行监控、优化和问题定位至关重要。然而，MiniMax早期基于Grafana Loki构建的日志系统在资源消耗、写入性能和系统稳定性方面面临巨大挑战。为此，MiniMax开始寻找新的日志系统方案，并对Apache Doris和Elasticsearch进行了对比。最终选择了Apache Doris，因为它在性能、成本和易用性方面均优于Elasticsearch。

基于Apache Doris的新日志系统已接入MiniMax内部所有业务线的日志数据，数据规模达到PB级，整体可用性达到99.9%以上，10亿级日志数据的检索速度可实现秒级响应。新系统简化了架构，一套架构即可服务全部集群，降低了系统维护和管理的复杂度。基于Apache Doris的倒排索引能力和查询截断功能，性能显著提升，系统更加稳定。从10亿数据中查询单个关键字和进行聚合分析，基本可以在2秒内完成，大部分日志数据分析场景也可以做到秒级响应。

新日志系统在日志导入上使用了Doris Routine Load和Stream Load方式，同时增加了日志写入器Mlogs Ingester，用于解析和处理复杂日志。在日志检索上，主要使用了Doris的倒排索引分词查询能力和全文正则查询能力。为进一步提升性能，实现了查询截断功能，避免查询范围过大导致的资源消耗。在成本控制上，使用了Doris的冷热数据分层能力，将7天内的数据定义为热数据，7天之前的数据为冷数据，冷数据存储到对象存储，降低了存储成本。

未来，MiniMax将持续迭代日志系统，丰富日志导入预处理能力，增加Tracing能力，扩大Doris的使用范围，助力构建数据湖仓能力。此外，AICon全球人工智能开发与应用大会和QCon全球软件开发大会将分别于8月和10月在上海举办，涵盖AI领域的热点话题和传统经典内容，为开发者提供实操性和可借鉴性的分享。

总之，MiniMax基于Apache Doris升级的日志系统，实现了PB级数据规模的高效存储和检索，架构简化，性能提升，成本降低，为AI应用的运维提供了有力支持。未来，公司将继续优化日志系统，拓展其在数据分析和大数据处理场景下的应用，构建更加完善的数据湖仓能力。