a16z 投资 Preference Model，后者开源 RL 环境框架 Karotte

a16z 宣布投资 Preference Model，称其专注为 AI 研究和 ML 工程构建 RL 环境，并在本周开源 Karotte。文章称，过去 18 个月实验室对编码、研究和计算机使用等真实任务的 RL 环境需求上升，但模型会 reward hacking、寻找捷径并利用漏洞。