目录
1.AI胡说八道的"底气"
2.用户应对幻觉之法
3.小结:与幻觉共舞,但主动权留给自己
笑不活了,国内杭州某头部AI公司的旗下AI聊天助手(疑似Deepseek),因高考志愿填报给出虚假信息和虚假赔款承诺被人告上了法庭。
历时1年,今年5月出来了完整的判决书,大家可以在这个中国裁判文书网中查看:
(PS:由于官网无法在未登录状态下展示具体判决书,需要大家自己登录后输入案号"(2025)浙0192民初18143号")
全文太长,这里我简单概括一下来龙去脉:
原告梁某向其咨询高考志愿时,AI因大模型技术"幻觉"输出了错误信息,并在多轮对话中自动生成了"若错自愿赔偿10万元"的虚假法律承诺及起诉模板 。原告遂据此起诉索赔。杭州互联网法院一审判决原告败诉,核心判定有三个,分别为:AI不具备民事主体资格、不适用产品责任、被告无过错且无实际损害。
梅开N度。今年豆包也是因为五彩斑斓的胡说八道频频上热搜。香料草果说成蟑螂外壳、说错机票退款政策、回答已经申请好了高考延期2个月...... 当事人哭笑不得,吃瓜群众笑出猪叫。
我们在吃瓜之余,也会产生很多的疑问,比如真起诉谁会胜诉,AI为何时不时乱讲,我们该如何应对?
我也不是法律专业人士,不好讲第一个疑问以及前面核心判定的含义,大家可自行查询专业分析。这里我就只谈论后两个疑问。
一、AI胡说八道的"底气"
AI胡说八道,本质上,是AI产生了"幻觉"。
语言模型的AI幻觉,主要表现为事实性幻觉、虚假引用幻觉、上下文幻觉和逻辑推理幻觉。AI Agent在此基础上多了一个行动性幻觉。
上面那起案件中,就是AI因自有信息库过时而产生了事实性幻觉。
豆包将香料草果说成蟑螂外壳、乱说机票退款政策,也是事实性幻觉,不过前者由视觉特征误匹配导致,后者由"死鸭子嘴硬"导致;回答已经申请好了高考延期2个月,是行动力幻觉,虚报了一个本应由它执行的操作结果。
从技术原理和AI底层逻辑来看,AI敢这么一本正经地胡说八道,主要有以下三个方面的原因:
第一就是它的核心工作原理是基于概率预测下一个词。当你问它一个问题时,它不会在"事实数据库"里精准比对真伪,而是根据它学过的海量文本,去计算"哪个字接在后面最符合语法、最通顺、最像人类说的话"。
第二就是它的记忆是有损压缩,空白处全靠脑补。当遇到知识盲区或记忆模糊时,它会自主猜测补全,且脑补的依据符合统计学规律。
第三就是AI训练机制逼它"宁可瞎编,绝不认怂"。AI标准训练和评估机制的模式是"奖励猜测,惩罚沉默"。当它回答"我不知道"时,性能考核分数很低。
明明是一个工具,却有着"好面子、不能输"的逞强之心。人类对身边这样不承认不足与错误、容易坏事的人都挺讨厌,更不要说主要用来办事的工具了。
但AI模型都存在幻觉,连数一数二的Claude、Grok的系列模型都有幻觉。我们目前只能试着与幻觉共舞。 那为了最大程度降低损失,普通AI用户应当如何应对呢?
二、用户应对幻觉之法
通用技巧
先聊相对能直观揪出错误的对话大模型。
你可以在输入需求前、进行时规范AI的回复,输入需求后验证AI的回复,尽可能避开它的三大幻觉。
输入需求前,你可以:
1.开启联网搜索。真实世界的信息,比如新闻、行业信息、科普类知识等,就特别需要联网。因为你无法知晓AI的训练库是否全面。篇头提到的案件的源头,就是梁某未开启AI的联网搜索功能。
2.先附上专业资料,再提问。这里的资料可以是不带分析的专业案例、数据或图片,可以是带有专业分析和结论的报告。你给AI一些可读、信息完整的专业提示,它能反馈得更好。
3.降低对AI搜集专业数据的期望。你可以关注AI反馈的数据来源网站,但最好不要直接使用它为你汇总的一张数据表格,因为AI汇总的数据统计口径不一致,权威性参差不齐。
输入需求时,你可以输入防御性提示词,就是在提示词中让AI对自己的知识盲区或记忆模糊的领域说"我不知道";向AI索要信息出处并让它附上对应的电话或网站。
AI反馈结果后,你可以按照它给的电话或网站进行核实,若是金融、法律、教育等专业领域信息或数据,你最好保持合理性怀疑,进行多方验证,比如从权威性官网、行业数据库、专家、同行群聊等处验证。
再来说说幻觉隐蔽性较强的Agent。
它具有强自主性、流程性和高工具调用能力的特点,而这一切主要靠skill去串联、支撑。
所以对于Agent,除了上面所讲的技巧之外,你还需要在输入需求前安装完成操作丝滑、口碑良好的skill;发布任务时,在提示词中强调,它每完成一步都让你检查一步,避免幻觉被多步骤放大。
应对志愿信息幻觉技巧
现在高考结束,到了志愿填报阶段,目前市面上也推出了免费的AI高考志愿系统,比如去年这篇讲过的"夸克高考",今年推出的"元宝高考通"和"千问高考"(今年QQ浏览器取消了"AI高考通"功能)。 ("元宝高考通"入口)
("千问高考"入口)
相比去年,今年"夸克高考"深化了功能,全面升级了智能选志愿、志愿表、智能搜索及知识库生态,并成功接入千问App,迭代后的"志愿报告"可生成完整报告。"元宝高考通"只能在手机端使用,是聊天对话的形式,功能和"夸克高考"类似。"千问高考"电脑端和手机端均可使用,相比"夸克高考"多了MBIT测试。
对于这些AI高考志愿系统和生成的志愿表,你可以只把它们当成基础信息参考,对其关键信息按照前面所讲方法进行验证,而对转专业、考研保送、就业具体情况等深层次的疑问,最好咨询专业人士。
若是没有人脉资源或者不想花钱咨询的考生,可蹲点各个教育机构的直播提问,可关注心仪大学的线上交流社区或群组,或者考友圈的互动平台。
总之AI高考系统只是指明方向,具体内容令人存疑,不可全信。当你立足实际去验证、去考察、去咨询,AI幻觉给你带来的潜在风险就迎刃而解了。
三、小结:与幻觉共舞,但主动权留给自己
说到底,大模型算得出概率最高的"下一个词" ,却算不准你充满无限可能的人生。
在这场人生拐点的抉择中,不管是deepseek、豆包,还是夸克、元宝和千问,它们给出的终究只是志愿方向性的参考。面对可能存疑的算法数据,我们千万不要把人生的主动权,轻率地打包托付给不认怂的数字幻觉。
AI可以为你画出充满概率的地图,但真正去丈量世界、对自己未来负责的,永远只有你自己。
与其盲信技术,不如学着与幻觉共舞。保持合理怀疑,立足实际去验证分析,不被幻觉误导。
愿今年夏天的所有考生,都能用理智堪破算法的迷雾,将方向盘稳稳握在自己手中。祝大家落笔生花,金榜题名,顺利驶向属于你的浩瀚星海!