NIST推出开源平台用于人工智能安全测试

国家标准与技术研究院（NIST）推出了Dioptra，这是一个用于测试机器学习模型对抗攻击的弹性的开源工具。Dioptra的功能包括基于网络的界面、用户认证以及实验元素的跟踪以确保可重复性。

该工具针对三种类型的攻击：规避、投毒和预言机攻击。规避攻击通过操纵输入数据误导模型。投毒攻击改变训练数据，降低准确性。预言机攻击旨在逆向工程模型以获取其数据集或参数的洞察。

Dioptra的模块化设计允许进行多样化的实验，结合不同的模型、数据集、攻击方法和防御措施。该平台面向模型开发者、用户、测试者、审计员和研究人员。它支持Python插件以增加功能，并跟踪实验历史以进行可追溯的测试。

NIST还发布了三份指导文件。第一份文件涉及生成式AI的12种风险和超过200项推荐行动。第二份文件概述了生成式AI和双用途基础模型的安全软件开发实践。第三份文件提出了全球合作开发AI标准的计划。