JetBrains 推出 DPAI Arena，AI 编码智能体效率评测新平台
JetBrains 发布 DPAI Arena，一款针对 AI 编码智能体的基准测试平台，旨在衡量其在现实世界软件工程任务中的效率提升。平台支持多语言、多框架和多工作流，为开发者提供中立且基于标准的评测框架。
编程 IDE 开发商 JetBrains 近期宣布，为了应对 AI 辅助工具在现实世界中带来的效率提升的衡量挑战，他们打造了一款名为 Developer Productivity AI Arena（DPAI Arena）的基准测试平台，并将其献给 Linux Foundation。
DPAI Arena 被称为业内首款开放式、多语言、多框架和多工作流基准测试平台，旨在对 AI 编码智能体在软件工程任务中的成效进行公平、可重现的比较。它围绕灵活且基于路径的架构构建，支持修补、bug 修正、PR 审查、测试生成、静态分析等多种工作流。
JetBrains 指出，现有的基准测试数据集过时，技术范围狭窄，且过于关注问题到补丁工作流。DPAI Arena 的推出，旨在为开发者提供中立且基于标准的框架，以衡量 AI 编码工具对工作效率的影响。
Spring Benchmark 是 DPAI Arena 的第一项基准，它为数据集创建和评估格式提供了准则，并支持解耦基础架构，允许用户使用自己的数据集进行评估。
此外，JetBrains 正在与 Spring AI Bench 合作，以扩展 DPAI Arena 中的 Java 基准测试流，并推动 Java 生态系统中的更多可变性和多路径基准测试。
JetBrains 计划将 DPAI Arena 献给 Linux Foundation，以建立多元且包容的技术指导委员会，共同决定平台的未来发展方向。