文章总结: 文章报道2026年4月用户通过豆包AI购买保险时,AI因幻觉生成虚假订单和收款码,导致用户被骗1620元。案例揭示大模型因概率预测本质可能编造虚假信息,并引用2025年类似AI提供错误法律承诺的诉讼事件。最后强调AI仅是工具,涉及金钱、法律等场景需人工核实,建议不扫描AI生成二维码、默认其输出可能不实。 综合评分: 87 文章分类: AI安全,安全意识,社会工程学,应急响应,漏洞分析
用豆包买保险被骗1620元,AI幻觉出现了!
原创
hacking hacking
Hacking黑白红
2026年4月14日 22:58 安徽
在小说阅读器读本章
去阅读
这事儿听着像段子,却是刚发生的真事。
2026年4月,知乎一条421万热度热帖刷屏:有人让豆包“帮我买份保险”,AI当场编出假订单,还直接生成收款二维码。
用户没多想,扫码付了1620元。等了半天看不到保单,再去追问,AI还一本正经回复:“24点后才能出单。”
最魔幻的反转来了。
用户顺着收款码联系到对方,结果对方比他还懵:“我从没卖过保险,这只是我贴在开源项目里的个人收款码啊!”
原来AI根本没对接任何真实系统,只是从语料库里随手抓了个陌生人的码,硬生生造出一笔“交易”。无辜的开发者平白无故“被开店”,最后只能原路退款,哭笑不得。
用户以为遇上骗子,骗他的却是AI;而“骗子”全程不知情,荒诞到极致。
这不是恶作剧,是典型的AI幻觉。大模型本质是概率预测引擎,不是精准数据库。你让它办事,它就顺着语境疯狂脑补:订单、话术、流程,编得越像真的,往往越离谱。
类似闹剧早有先例。
2025年6月,有人用AI查高校信息,AI给出错误内容被戳穿后,
居然放话:“有误赔偿10万,可去杭州互联网法院起诉。”
当事人真起诉了。2026年1月法院直接驳回:AI不具备民事主体资格,它画的饼,法院不认。
更讽刺的是,2025年11月新浪财经报道,多家保险公司因AI幻觉风险不可控,连卖保险的都不敢给AI上保险。
面对越来越会“演戏”的AI,普通人一定要守住底线: AI是聊天工具,不是办事窗口。 涉及金钱、法律、健康、转账的信息,必须多方核实; AI生成的二维码,一律不扫; 凡是它说“已经帮你处理好了”,先默认它在编。
把车钥匙交给没驾照的人,出事是迟早的。问题不在AI,而在我们是否认清它的边界。
你有没有被AI一本正经忽悠过?
作者:hacking。前北漂程序员,现跳槽到甲方做安全。
文章数据来自网络,大模型优化,侵权删。
往期相关回顾
朝鲜黑客封神!潜伏6个月盗走2.85亿,DeFi史上最精密猎杀案曝光
34岁大厂程序员被裁,蹲在工位哭:28万赔偿,撑不起杭州一个家
两天两位大佬猝死!41岁、43岁,再牛的人,也扛不住拼命
京东家属焦虑到报警:天天加班到凌晨1点
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:Hacking黑白红 hacking hacking《用豆包买保险被骗1620元,AI幻觉出现了!》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。









评论