约束衰减：LLM Agent在后端代码生成中的脆弱性

摘要

大语言模型（LLM）Agent在松散规范下的自主代码生成中表现出色。然而，生产级软件要求严格遵守结构约束，例如架构模式、数据库和对象关系映射。现有基准测试通常忽略这些非功能需求，奖励功能正确但结构随意的解决方案。我们进行了一项系统研究，评估Agent在多文件后端生成中如何处理结构约束。通过在80个绿地生成任务和20个功能实现任务（涵盖八个Web框架）中固定统一的API契约，我们利用端到端行为测试和静态验证器进行双重评估，隔离了结构复杂性的影响。我们的发现揭示了一种“约束衰减”现象：随着结构要求的累积，Agent性能显著下降。从基线任务到完全指定任务，有能力的配置在断言通过率上平均下降30个百分点，而一些较弱的配置则接近零。框架敏感性分析揭示了显著的性能差异：Agent在最小化、显式的框架（如Flask）中成功，但在惯例密集型环境（如FastAPI、Django）中平均表现差得多。最后，错误分析确定数据层缺陷（例如错误的查询组合和ORM运行时违规）是主要原因。这项工作强调，同时满足功能和结构需求仍然是编码Agent面临的关键开放挑战。

核心发现

1. 约束衰减：随着结构约束增加，Agent性能大幅下降。
2. 框架敏感性：Flask等显式框架优于FastAPI、Django等惯例密集型框架。
3. 数据层弱点：错误主要集中在查询组合和ORM违规上。