AI 医疗建议可靠性存疑: MIT 研究揭示用户提问方式影响 AI 判断

IT之家7月10日消息，随着生成式人工智能（AI）技术不断演进，其应用场景已从早期的简单问答扩展到更复杂的任务。然而，对于缺乏技术背景的用户而言，如何高效、准确地使用这些AI工具，正变得越来越具有挑战性。

一份独立报告显示，微软AI部门收到的用户投诉中，最常见的一条是“Copilot不如ChatGPT好用”。对此，微软迅速回应，将问题归咎于用户“提示词工程能力不佳”。为改善用户体验，微软还推出了“Copilot学院”，帮助用户提升AI使用技能。

该研究指出，过度依赖AI工具获取医疗建议可能带来危险。更令人担忧的是，如果用户在提问时出现拼写错误（如单词拼错或多余空格），AI可能会因此建议用户无需就医。此外，使用花哨语言或俚语也可能导致AI判断失误。

研究还发现，女性用户比男性更容易受到此类错误建议的影响，尽管这一结论仍需进一步验证。

此次研究涵盖了多个AI工具，包括OpenAI的GPT-4、Meta的LLaMA-3-70B，以及一款名为Palmyra-Med的医疗专用AI。研究人员模拟了数千个健康案例，数据来源包括真实患者投诉、Reddit上的健康相关帖子，以及AI生成的病例。

为测试AI的稳定性，研究人员在数据中加入了“扰动因素”，如句子首字母大小写不一致、感叹号、情绪化语言，以及“可能”“大概”等不确定表达。结果显示，这些扰动使AI建议用户“无需就医”的概率上升了7%至9%。

研究负责人、MIT研究员阿比尼塔・古拉巴蒂娜（AbinithaGourabathina）指出：“这些模型通常是在医学考试题目上训练和测试的，但实际应用场景却相差甚远，比如评估临床病例的严重程度。我们对大语言模型的理解仍然非常有限。”

这一研究结果引发了对AI在医疗领域应用的广泛担忧。值得注意的是，就在不久前，微软刚刚宣布其新推出的AI医疗工具“准确率是人类医生的4倍，成本却低20%”。微软AI首席执行官甚至称其为“迈向医疗超级智能的真正一步”。

然而，这项研究再次提醒我们，生成式AI在医疗等高度复杂的领域仍远未达到完全可靠的水平。尽管技术发展迅速，但在真正投入使用前，仍需更多验证与审慎评估。