量子位(公众号 · Wechat2RSS)·· 9 小时前AI 评分43
DHSA:偏好对齐也能在推理时完成,256—16,384个控制参数达到DPO水准
偏好对齐也能在推理时完成!256-16384个控制参数达到DPO水准
AI 导读
成都大学等团队提出直接隐状态对齐(DHSA),在冻结基座权重下通过推理时隐状态控制实现偏好对齐。在ConFiQA、IMDb和TL;DR上,CAST仅启用256—16,384个控制参数,达到与DPO相竞争的对齐水平。实验覆盖GPT-2-large(0.774B)、GPT-J(6B)、Qwen2(7B)、Llama-3及其LION版本(8B)等,项目提供可复现代码与可扩展框架。
来源:量子位(公众号 · Wechat2RSS) · mp.weixin.qq.com