跳到正文
原文
量子位(公众号 · Wechat2RSS)·· 9 小时前AI 评分43

DHSA:偏好对齐也能在推理时完成,256—16,384个控制参数达到DPO水准

偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准

AI 导读

成都大学等团队提出直接隐状态对齐(DHSA),在冻结基座权重下通过推理时隐状态控制实现偏好对齐。在ConFiQA、IMDb和TL;DR上,CAST仅启用256—16,384个控制参数,达到与DPO相竞争的对齐水平。实验覆盖GPT-2-large(0.774B)、GPT-J(6B)、Qwen2(7B)、Llama-3及其LION版本(8B)等,项目提供可复现代码与可扩展框架。

来源:量子位(公众号 · Wechat2RSS) · mp.weixin.qq.com