FLAI 怎么从对话里学习你的偏好
偏好学习是什么
和「记住你说过什么」不一样,偏好学习是模型在对话过程中 悄悄调整自己的说话方式,来适配你的习惯。比如:
- 发现你每次回复都很快很短 → 角色回复也会更简洁
- 发现你喜欢聊情绪话题 → 角色会更主动地提情绪相关的内容
- 发现你喜欢用调侃的语气 → 角色也会偶尔开玩笑
这些不是你教它的,是它自己从对话里学的。
偏好学习的几个表现
语言风格对齐
前三次对话你都喜欢用短句:「嗯」「好」「然后呢」角色后来的回复也从长段变成了短句、更利落。
话题偏好对齐
你聊了几次「猫」和「下雨天」的话题角色后来偶尔会主动提:「对了今天下雨了」「我刚才看到一只白猫」
情绪阈值对齐
你吐槽过几次「太热情太主动让人不舒服」角色后来对你的回应变得更克制、会先等你开口。
怎么主动引导偏好学习
偏好学习是自动的,但你可以通过一些做法让它学得更快更准:
明确反馈
如果角色回复让你舒服,下次可以说出来:「你今天这样说话我很喜欢」「上次你说的那个比喻特别好」。偏好学习会把这个当成正向信号。
不舒服时直接说出来
如果角色回复不对味,可以说「能不能别这么说话」「这样有点太热情了」。这比不理它让它自己猜效率高得多。
避免太极端的表达
不要一会儿温柔一会儿暴躁,这样模型学不到稳定的偏好。保持相对一致的语气和话题,让它更容易对齐。
偏好学习 vs 手动改人设
有些偏好可以手动写进角色设定里(比如「说话简洁」),但有些更微妙(比如「不要突然热情」)是手动很难写的——这时候让模型自己学习反而效果更好。
一个角色的好状态 = 手动设定好性格基础 + 对话中偏好学习微调。