微软推出新的人工智能工具来审核文本和图像

微软正在推出一项新的人工智能审核服务，据称该服务旨在营造更安全的在线环境和社区。

这项名为 Azure AI 内容安全的新产品可通过 Azure AI 产品平台获得，它提供了一系列经过训练的 AI 模型，可以检测图像和文本中的“不当”内容。这些模型——可以理解英语、西班牙语、德语、法语、日语、葡萄牙语、意大利语和中文的文本——为被标记的内容分配一个严重性分数，向版主指示哪些内容需要采取行动。

“两年多来，微软一直致力于研究解决方案，以应对在线社区中出现有害内容的挑战。我们认识到现有系统没有有效地考虑上下文或无法以多种语言工作，”微软发言人通过电子邮件说。“新的 [AI] 模型能够更好地理解内容和文化背景。他们从一开始就使用多种语言……他们提供清晰易懂的解释，让用户理解内容被标记或删除的原因。”

在微软年度 Build 大会上的演示中，微软负责的 AI 负责人 Sarah Bird 解释说，Azure AI 内容安全是安全系统的产品化版本，为微软 Bing 中的聊天机器人和 GitHub 的 AI 代码生成服务Copilot 提供支持。

“我们现在将其作为第三方客户可以使用的产品推出，”伯德在一份声明中说。

据推测，Azure AI 内容安全背后的技术自 2 月初首次针对 Bing Chat 推出以来已经有所改进。Bing Chat 在预览版中首次推出时出现了问题;我们的报道发现聊天机器人散播疫苗错误信息，并从阿道夫希特勒的角度写下了一篇充满仇恨的文章。其他记者得到它进行威胁，甚至羞辱他们警告它。

在对微软的另一次打击中，该公司几个月前解雇了其更大的人工智能组织内的道德和社会团队。此举让微软没有专门的团队来确保其人工智能原则与产品设计紧密相关。

暂时搁置所有这些，Azure AI 内容安全——根据微软的说法，它可以防止有偏见、性别歧视、种族主义、仇恨、暴力和自我伤害的内容——被集成到 Azure OpenAI 服务中，这是微软完全管理的、以企业为中心的产品旨在让企业能够访问 OpenAI 的技术，并增加治理和合规性功能。但 Azure AI Content Safety 也可以应用于非 AI 系统，例如在线社区和游戏平台。

起价为每 1,000 张图像 1.50 美元和每 1,000 条文本记录 0.75 美元。Azure AI Content Safety 类似于其他由 AI 驱动的毒性检测服务，包括由 Google 的反滥用技术团队维护的Perspective和 Jigsaw，并继承了 Microsoft 自己的Content Moderator工具。（没有关于它是否建立在微软于 2021 年收购审核内容提供商 Two Hat 的基础上的消息。）这些服务，如 Azure AI 内容安全，提供从 0 到 100 的分数，衡量新评论和图像与其他人的相似程度以前被确定为有毒。

但我们有理由对它们持怀疑态度。除了 Bing Chat 早期的失误和微软针对性不强的裁员之外，研究表明人工智能毒性检测技术仍在努力克服挑战，包括对特定用户子集的偏见。

这个问题超出了毒性检测器即服务的范围。本周，纽约时报的一篇报道透露，在图像分析软件将黑人错误标记为大猩猩的争议发生八年后，科技巨头仍然担心重蹈覆辙。

这些失败的部分原因是注释者——负责向作为模型示例的训练数据集添加标签的人——带来了他们自己的偏见。例如，自称为非裔美国人和 LGBTQ+ 社区成员的标注者与不属于这两个群体的标注者之间的标注经常存在差异。

为了解决其中的一些问题，微软允许 Azure AI 内容安全中的过滤器根据上下文进行微调。伯德解释说:例如，如果游戏系统配置为阻止中等严重程度的内容，则游戏中使用的短语“跑过山丘并攻击”将被视为中等程度的暴力并被阻止。接受中等程度的暴力的调整将使模型能够容忍该短语。

微软发言人补充说:“我们有一个语言和公平专家团队，他们致力于在考虑文化、语言和背景的情况下制定指导方针。” “然后我们训练人工智能模型以反映这些准则……人工智能总是会犯一些错误，[然而]因此对于要求错误几乎不存在的应用程序，我们建议使用人在回路中来验证结果。 ”

Azure AI 内容安全的早期采用者之一是 Koo，这是一个位于印度班加罗尔的博客平台，其用户群使用 20 多种语言。微软表示，它正在与 Koo 合作应对节制挑战，例如分析模因和学习英语以外语言的口语细微差别。

我们没有机会在 Azure AI 内容安全发布之前对其进行测试，微软也没有回答有关其注释或偏见缓解方法的问题。但请放心，我们会密切关注 Azure AI 内容安全在野外的表现。