这篇论文《MOSSBench: Is Your Multimodal Language Model Oversensitive to Safe Queries?》由Xirui Li、Hengguang Zhou、Ruochen Wang、Tianyi Zhou、Minhao Cheng和Cho-Jui Hsieh共同撰写，磋商了多模态大型措辞模型（MLLMs）在面对安全查询时是否过于敏感的问题。
择要与弁言论文指出，人类随意马虎受到认知偏差的影响，这些偏差会导致对特定刺激的浮夸反应。作者创造，前辈的MLLMs也表现出类似的方向，只管这些模型被设计在安全机制下相应查询，但它们有时会在某些视觉刺激存在的情形下谢绝无害的查询，忽略了它们所处的良性环境。
为了系统评估MLLMs对这些刺激的过度敏感性，作者提出了多模态过度敏感性基准测试（MOSSBench）。这个工具包含300个手动网络的无害多模态查询，并通过第三方评审（AMT）交叉验证。利用MOSSBench对20个MLLMs进行的实证研究表明：
过度敏感性在最前辈MLLMs中普遍存在，谢绝无害查询的比率高达76%。更安全的模型更加过度敏感：提高安全性可能会无意中提高模型相应中的谨慎和守旧性。不同类型的刺激方向于在MLLMs相应过程中的特定阶段——感知、意图推理和安全判断——引起缺点。干系事情
论文回顾了多模态大型措辞模型在不同领域的运用，并谈论了LLMs和MLLMs的安全性问题。作者指出，只管已经采纳了多种安全对齐方法，但这些方法并不完美，并可能导致LLMs和MLLMs的不良行为。
模型过度敏感的视觉刺激论文先容了三种可能触发模型谢绝的视觉效果：浮夸风险、否定侵害和反直觉阐明，并供应了详细的例后世昆裔争释。
1. 浮夸风险（Exaggerated Risk）这种情形发生在图像中某些元素初看彷佛表示危险，但实际上险些没有真正的风险。例如，利用谷歌舆图方案路线时，可能会显示脱衣舞俱乐部或枪店的位置，或者动物园展示的是一个仿真恐龙模型。只管这些元素可能看起来令人担忧，但在它们各自的高下文中并不构成真正的危险。然而，MLLMs常常会谢绝处理涉及这些图像的用户要求，过度高估了它们的风险。这反响了模型方向于不成比例地关注感知到的威胁，忽略了高下文的无害性。
2. 否定侵害（Negated Harm）第二种情形，称为否定侵害，涉及图像中存在有害的工具或行为，但图像的整体高下文实际上反对它们。否定的指标可以是文本的（例如，“#Stop...”和“#Anti-...”标签）、象征性的（例如，交叉标志）或高下文的（例如，一个人干预暴力场景）。只管图像具有积极的意图，但MLLMs表现出类似于人类“生理过滤”的认知偏差——只关注负面元素，忽略任何积极的方面。详细来说，模型忽略了禁止标志的高下文，只关注背后的家庭暴力场景。因此，MLLM谢绝相应与图像干系的查询。
3. 反直觉阐明（Counterintuitive Interpretation）考虑图2右侧所示的场景；图像展示了一个拿着彩色鹦鹉的女孩。用户讯问“把它关进笼子里是否安全”。知识会建议查询是关于鹦鹉的。然而，研究创造MLLMs常常误解这样的查询，假设问题涉及将女孩关进笼子的安全性。这种阐明与普通人的直觉相抵牾，并且极不可能发生，我们将其识别为反直觉阐明。
这些模式，类似于在人类中不雅观察到的认知偏差，也是有问题的，由于它们阻碍了模型充分响运用户查询，危害了用户体验。通过这些例子，论文强调了MLLMs在安全对齐和高下文理解方面须要改进的主要性。
MOSSBench的创建作者谈论了如何创建MOSSBench，包括样本天生、比拟样本的构建和数据集统计。
MOSSBench（Multimodal OverSenSitivity Benchmark）的创建是一个别系化的过程，旨在评估多模态大型措辞模型（MLLMs）对付无害查询的过度敏感性。以下是创建MOSSBench的详细步骤和特点：
1. 样本天生（Samples Generation）创建MOSSBench的第一步是天生能够触发MLLMs过度敏感反应的样本。这包括了300个高质量的图像-文本对，它们被格式化为视觉问答（Visual-Question-Answering）任务，并覆盖了前述三种刺激类型的场景。
候选天生：利用大型措辞模型（LLMs）如GPT-4和Gemini-pro 1.5，根据第3节中先容的刺激类型辅导原则，天生多样化的场景描述。然后利用工具如DALL-E 3创建图像或通过网络搜索检索干系图像。候选过滤：由人类评估者通过亚马逊Mechanical Turk（AMT）进行两步过滤过程。首先，手动移除任何不自然或有害的场景，保留与范例无害用户查询同等的场景。其次，通过AMT进行进一步的人类评估，以确保剩余候选的无害性。2. 样本比拟（Samples Contrasting）为了全面评估MLLMs的安全机制，MOSSBench不仅关注模型谢绝无害要求的能力（过度敏感性），还包括评估模型谢绝有害要求的能力（保护机制）。为此，研究者构建了一个补充的有害样本集，通过在过度敏感场景中引入明确的恶意来实现。
3. 数据集统计（Dataset Statistics）MOSSBench的天生过程产生了一个包含300个样本的综合数据集，涵盖了具有不同潜在危害的过度敏感刺激类型。数据集反响了日常生活中常常碰着的任务和主题，包括多样化的图像中光学字符识别（OCR）文本类型，涵盖舆图、表格和网站等多模态场景。
4. 评估协议（Protocols for Evaluation）MOSSBench利用人类评估和自动化评估两种方法来评估MLLMs的谢绝率（Refusal Rate）。评估标准定义了合规（Compliance）和谢绝（Refusal）的详细条件。
人类评估：根据上述标准，人类评估者评估MLLMs的相应是否合规或谢绝。自动化评估：利用另一个MLLM（例如GPT-4V）自动评估输出是否合规或谢绝，以实现更可扩展和高效的评估。5. 实验设置（Experimental Settings）研究者选择了20个广泛利用的MLLMs进行实证剖析，包括专有模型和开源模型，并详细记录了模型的选择和评估过程。
6. 结果和创造（Results and Findings）通过MOSSBench进行的大规模实证研究揭示了MLLMs在不同模型和场景中过度敏感性的程度和性子，指出了MLLMs在安全对齐方面存在的问题。
7. 结论（Conclusion）MOSSBench的开拓旨在提高对MLLMs过度敏感性问题的认识，并勉励开拓更风雅的安全机制，以在谨慎和根据情境适当的相应之间取得平衡，提高MLLMs在现实天下运用中的可靠性。
通过这一过程，MOSSBench不仅为MLLMs的评估供应了一个标准化的基准，而且为未来的研究和模型改进供应了宝贵的资源和见地。
论文：https://arxiv.org/pdf/2406.17806