Cognition 介绍 Devin 自主 AI 软件工程师生产力估算系统

Cognition 介绍了一套用于估算 Devin 会话相当于多少生产性工程小时的系统，目前已在客户中运行。该系统先判断会话是否产出有用结果，再估算人类工程师完成同等工作所需时间，数据集包含来自 126 名用户的 258 个会话。在 233 个留出会话上的评估显示，估算器 rlog 为 0.74，单次预测有噪声，但作者称聚合后可用于估算总量，并且校准为保守低估。