达里奥·阿莫迪 · 待分类
对抗训练与对抗鲁棒性是安全工作的重要组成部分,需要广泛多样的训练案例,并由另一组人持续尝试突破已经训练过的模型,也可以利用模型攻击模型。
嘉宾观点 · 忠实转述
开放式交互提供了许多绕过简单拒绝的方法,一次短暂测试无法证明模型安全。
他的未来判断
他希望反复暴露并修复失败最终能得到更安全的系统,但没有声称这一流程已经能保证安全。
延伸分析 由 AI 生成
如果攻击者不断改变表达方式,对抗训练的价值可能取决于新攻击的覆盖率与修复后的泛化能力。
后续观察
- 未知攻击成功率
- 修复后同类问题的复发情况
讨论
还没有公开评论。
Web 当前为匿名只读,可在受邀小程序中参与讨论。