我们如何引入DeepSeek R1来做领域特定语言训练的？

78 0 0

文章摘要

在网易 CodeWave 智能开发平台中，NASL（NetEase Application Specific Language）作为核心可视化编程语言，承担了多重关键作用。首先，它能够精确描述应用的不同粒度和多种领域的可视化编程结构，从页面节点到表达式和运算符，涵盖了通用基础语言和特定领域的子语言。其次，NASL统一了前后端各子领域的表达方式，降低了学习门槛，使得数据库、服务端逻辑、接口定义等编写形式更加一致。此外，NASL还集成了多种开发功能，如可视化设计器、代码仓库、Language Server等，提升了综合使用体验。

在大模型时代，NASL进一步发挥了AI友好和快速落地AI功能的作用。通过减少代码量和层次转换问题，NASL使得大模型生成的内容更加简洁高效，同时通过AI服务与交互输入的结合，能够快速将AI能力引入产品中。然而，让大模型生成NASL语言也带来了挑战。由于当前大模型缺乏NASL相关知识，直接使用提示工程生成的内容在细节上存在不足，通过HumanEval Benchmark评测的通过率仅为55.3%。因此，CodeWave技术团队致力于通过微调训练提升大模型在NASL领域的能力，以改善自然语言生成逻辑和代码补全等AI功能的效果。

NASL大模型的训练流程包括基座模型的选型和评测、数据准备等关键环节。在基座模型选型中，团队重点评测了代码生成、代码补全、代码推理和长上下文理解能力，选择了如DeepSeek Coder、Qwen Coder等开源模型。数据准备阶段，团队通过数据合成解决了“数据冷启动”问题，生成了大量“自然语言指令 -> NASL代码答案”的问答对，并通过多轮反馈机制和NASL语言沙箱确保代码的正确性。此外，团队引入了DeepSeek-R1模型，显著提升了复杂指令下代码生成的成功率。

总体而言，NASL在大模型时代下的应用不仅提升了开发效率，还通过AI功能的快速落地为产品带来了新的可能性。通过持续的模型微调和数据优化，CodeWave技术团队致力于进一步提升NASL大模型的表现，以应对未来更复杂的开发需求。