How to train your model organism
说明如何训练你的模型生物(model organism):用多目标验证评估可解释性方法
简介论文指出,目前常见的做法是只让“模型生物”学会某种目标行为(如后门、谄媚、伪相关),这并不充分。作者提出从目标行为植入、通用能力保持和输出自然度三方面用指标验证模型生物,并提出基于模型合并的多目标训练方法。实验显示,验证指标能预示可解释性方法恢复目标行为的效果,且不同训练方式会影响能得出的结论。
本站已超过 12 小时没有更新(正常每 3 小时更新一次),下面的内容可能不是最新的。
本页没有符合条件的条目(筛选只在本页内进行)。
说明如何训练你的模型生物(model organism):用多目标验证评估可解释性方法
简介论文指出,目前常见的做法是只让“模型生物”学会某种目标行为(如后门、谄媚、伪相关),这并不充分。作者提出从目标行为植入、通用能力保持和输出自然度三方面用指标验证模型生物,并提出基于模型合并的多目标训练方法。实验显示,验证指标能预示可解释性方法恢复目标行为的效果,且不同训练方式会影响能得出的结论。
说明GAGR-Lab:评测空间几何与解析函数联合推理能力的框架
简介论文提出 GAGR-Lab 框架,用笛卡尔坐标游戏场景、显式函数语义和 Rust 轨迹执行器来衡量模型把空间配置转化为满足几何约束的符号函数的能力。论文对单个托管模型 Llama 3.2 11B Vision Instruct 做了小规模试点,在 432 次尝试中没有命中目标;作为对照,一个特权解析搜索方法在 600 个方向性案例上成功。论文还给出了分阶段的后续研究计划,完整难度矩阵和多模型比较尚未测试。
说明稳健的去中心化公平性审计(Auditopus)
简介本文针对大语言模型的公平性审计问题,提出去中心化的审计方法Auditopus:多个审计者各自发出查询,只共享累计统计向量而不共享原始查询。文章指出,即使网络中只有一个恶意审计者,也能通过伪造向量让不公平的模型看起来公平;为此,Auditopus让诚实审计者降低与历史数据统计不一致的审计者的权重。实验显示,相比无防御及稳健聚合基线,该方法显著降低了审计误差,即使一半审计者为恶意也能防止明显不公平的模型被判定为公平。