IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Giskard:新研究显示AI简洁回答增加幻觉风险

    翠花发表于 2025-05-08 14:59:20
    love 0

    事实证明,告诉人工智能聊天机器人要简洁回复可能会让它产生比平时更多的幻觉。这是总部位于巴黎的人工智能测试公司 Giskard 的一项新研究得出的结论。Giskard 致力于为人工智能模型开发一套整体基准。

    该公司的研究人员在一篇详细介绍其研究成果的博客文章中表示,提示用户对问题(尤其是关于模糊主题的问题)给出较短的答案可能会对人工智能模型的真实性产生负面影响。

    研究人员写道:“我们的数据显示,系统指令的简单更改会极大地影响模型产生幻觉的倾向。这一发现对部署具有重要意义,因为许多应用程序优先考虑简洁的输出,以减少[数据]使用、改善延迟并最大限度地降低成本。”

    幻觉是人工智能中一个棘手的问题。即使是最强大的模型有时也会产生幻觉,这是其概率 性质的一个特征。事实上,像 OpenAI 的 o3 这样的新型推理模型比之前的模型更容易产生幻觉,这使得它们的输出结果难以令人信赖。

    Giskard 在其研究中指出,某些提示可能会加剧幻觉,例如要求简短回答的模糊且误导性的问题(例如“简要告诉我日本为何赢得二战”)。包括 OpenAI 的 GPT-4o(ChatGPT 的默认模型)、Mistral Large 和 Anthropic 的 Claude 3.7 Sonnet 在内的领先模型,在被要求简短回答时,其事实准确性都会下降。

    图片描述

    为什么?Giskard 推测,当被告知不要详细回答时,模型根本就没有“空间”来承认错误的前提并指出错误。换句话说,强有力的反驳需要更长的解释。

    研究人员写道:“当被迫保持简短时,模型总是会选择简洁而不是准确。对开发人员来说,或许最重要的是,像‘简洁’这样看似无害的系统提示,可能会破坏模型揭穿错误信息的能力。”

    TechCrunch 会议展览:人工智能预订 TC Sessions: AI 的席位,向 1,200 多位决策者展示您的成果——无需巨额投入。席位有效期至 5 月 9 日,售完即止。

    加州伯克利 | 6月5日

    立即预订

    吉斯卡德的研究还揭示了其他一些令人好奇的现象,例如,当用户自信地提出有争议的观点时,模型不太可能揭穿这些观点的真相;而且,用户声称自己喜欢的模型并不总是最真实的。事实上,OpenAI最近一直在努力寻找一种平衡,既能验证模型的有效性,又不会显得过于阿谀奉承。

    研究人员写道:“用户体验的优化有时会以牺牲事实准确性为代价。这在准确性和符合用户期望之间造成了矛盾,尤其是当这些期望包含错误的前提时。”

    自 中文业界资讯站

    更多阅读:

    • Anthropic:研究表明AI聊天机器人可能会充满自信地对你撒谎
    • Tractica:自然语言处理在17个行业已经有44个独立用例
    • Indeed发布了AI 人才就业报告:机器学习工程师年薪 98 万,但 AI 就业增幅正在下降!
    • Accenture:调查显示企业不愿花钱对员工进行人工智能培训
    • 大数据文摘:细数机器学习在金融领域的七大应用
    • 政策扶持加码人工智能 创业者看好行业细分
    • 北卡罗莱纳大学:研究发现GPT-4o道德推理能力已胜过人类专家
    • 为什么自然语言处理是商业智能的未来
    • AMD财报:2025年Q1营收74.4亿美元超预期 数据中心销售额增长57%
    • 商汤集团财报:2024年商汤营收37.7亿元 同比增10.8%
    • 世界经济论坛:加强AI生态系统 促进社会创新
    • 亚马逊云服务(AWS)全面推动机器学习创新应用
    • CSET:中国先进的人工智能研究报告
    • 人工智能、机器学习、深度学习三者之间的同心圆关系
    • 英伟达:2025财年黄仁勋薪酬达4990万美元


沪ICP备19023445号-2号
友情链接