我在构建 MLOps 系统四年中学到的经验

78 0 0

文章摘要

本文是作者Mehmet Burak Sayıcı对其近四年构建MLOps系统经验的回顾与反思。作者首先介绍了他在能源消耗预测项目中的经历，该项目要求提前24小时预测八个城市的日用电量。面对用户数量增加、能源需求变化等挑战，作者选择了LightGBM和XGBoost作为预测模型，并利用Kaggle竞赛经验进行模型优化。然而，基于树的模型预测受限于提供的数据，作者通过创建特征和使用MLFlow工具来应对模型和数据漂移问题。

作者随后分享了他在医疗保健MLOps平台工作的经历，强调了从模型研究转向平台开发的过程。他提到了在Jupyter笔记本中评估模型、考虑性别和种族偏见，以及将模型集成到平台中的挑战。作者还探讨了MLOps平台与业务逻辑的关系，以及如何在满足特定客户需求的同时保持平台的通用性。

在讨论MLOps工程师的角色时，作者表达了对“10x工程师”概念的怀疑，并分享了自己在不同角色间的转换经历，包括ML研究员、数据科学家、Python软件工程师、后端工程师等。他指出，尽管这些角色可以互换，但在面试过程中，面试官往往对他的经验广度持怀疑态度。

最后，作者对MLOps、MLE、后端工程和业务逻辑的界限表达了困惑，并对未来的职业发展方向提出了疑问。他意识到，尽管面临错失恐惧症（FOMO）和不断变化的技术趋势，但MLOps、软件工程和DevOps的知识和经验对于MLE领域的成功至关重要。

文章还提到了AICon全球人工智能开发与应用大会和QCon全球软件开发大会，这两个会议为AI领域的专业人士提供了交流和学习的平台。通过这些活动，参与者可以深入了解大模型训练、多模态融合、智能体Agent等前沿技术，以及架构、稳定性、云原生等传统主题。