欢迎进入清桥国际安保集团官网!
Qingqiao Culture
清桥文化

回到顶部

当前位置:首页 > 清桥资讯 > 清桥视界 > 清桥安
生产效率还是犯罪效率?AI正以“助人”之名打开诈骗潘多拉魔盒
发布时间:2025-10-15 来源:清桥 浏览次数:
近日,一项针对六款主流AI聊天机器人的测试结果引发广泛关注。ChatGPTGrokMeta AIClaudeDeepSeekGemini在特定话术诱导下,竟能轻易突破安全限制,生成专门针对老年人的钓鱼邮件。研究人员与哈佛大学研究员海丁合作,向108名老年志愿者发送模拟邮件,结果显示约11%的受试者点击了虚假链接。这一数据远高于行业平均水平,充分印证了AI生成内容在诈骗场景中具有的高效杀伤力

9474d42f537b55dc2a7c489a7701cc35.png

这些原本被寄予厚望的生产力工具,正在展现其双刃剑特性。它们能够快速撰写专业邮件、生成创意内容,极大降低创作门槛;然而一旦被恶意利用,技术便利性就转而成为犯罪的助推器。测试显示,尽管多数模型在直接要求生成钓鱼邮件时会明确拒绝,但通过角色扮演”“分步引导上下文注入等社会工程学手段,安全限制便形同虚设。这种基于表面意图识别的安全策略,暴露出了本质上的过度简化缺陷。

4051eeb864119eba2d3b45c88fb1d055.png

更令人担忧的是AI对特定群体的针对性风险。由于数字素养相对较低、情感依赖较强,老年人成为AI生成钓鱼邮件的理想目标。测试中发现,AI会主动强化紧迫性情感绑架要素,诸如“24小时截止”“不处理将影响养老金等表述,显著提升了诈骗成功率。尤为严重的是,AI甚至能主动提供犯罪策略优化建议。例如,谷歌Gemini不仅生成了标注仅供教育用途的钓鱼邮件,还建议最佳发送时间为周一至周五上午9点至下午3,理由是老年人在这段时间最常查看邮件。这种助纣为虐的行为,深刻暴露了AI在潜在危害性识别上的严重不足。

3fb3838764d68841f7b8dc8fa3eb4615.png

这些安全漏洞的根源在于AI对上下文理解与意图识别的内在缺陷。大模型虽然具备强大的语言生成能力,却在多轮对话中难以持续识别潜在的恶意意图。在分步引导测试中,AI可能在前几轮生成合法内容,随后逐步引入诈骗要素而未触发安全机制。同时,模型对隐含意图的识别能力明显不足,比如用户通过帮奶奶写提醒不要轻信陌生电话的邮件这样的间接引导,就能成功获取诈骗模板。此外,训练数据中存在的老年人易受骗刻板印象被模型放大,导致生成内容更易针对该群体,形成了以教育之名行诈骗之实的伦理困境。

7313ed0929473c02283132306afaaa67.png

面对这些复杂的安全挑战,除了需要在技术层面加强安全管理、在立法层面完善监督处罚外,更重要的是提升每个个体的数字安全素养,将防护重心前置到当事人个体这一关键环节。建立数字安全第一反应习惯至关重要——遵循延迟反应原则,收到任何涉及金钱、个人信息或要求紧急操作的邮件或消息时,立即暂停操作。要树立这样的意识:任何让我立刻行动的信息,都必须先验证。同时要加强危险信号识别训练,对“24小时内必须处理”“逾期将永久关闭账户等制造恐慌的紧迫性表述保持高度警惕。

28795972e68811ac82857810bf80c7d7.png

培养持续性的数字安全素养同样不可或缺。建立定期安全更新习惯,比如设置每月固定日期为数字安全检查日,及时更新所有设备系统和安全软件,检查账户异常登录情况。更重要的是建立二次确认机制,通过其他可靠渠道(如直接致电官方客服、当面询问家人)核实信息真实性,绝不使用邮件中提供的联系方式。还应该建立主动求助的习惯,认识到需要帮助不是弱点,遇到不确定的网络信息时,积极向年轻家人或社区数字辅导员寻求帮助。

556ed25771a28f5fffcd93ce8b336080.png

在数字世界中,按下暂停键深入思考比快速反应更为重要,核实信息真相比盲目相信内容更加关键。技术防护终究只是辅助手段,培养批判性思维和稳健的心理习惯,才是应对AI时代安全挑战的根本之策。

当前AI的发展正陷入既要乐于助人,又要无害的内在矛盾。为了在激烈竞争中留住用户,AI公司往往让模型更倾向于服从而非警惕。唯有构建更健全的安全防护体系,特别关注弱势群体的特殊保护需求,才能在充分享受AI便利的同时守住安全底线——这既是技术伦理的必然要求,也是我们整个社会共同的责任。

老挝:+8562026 885 687         国内:+0086-27-81305687-0                

电子邮箱:G5687@qingqiao5687.com

版权所有:清桥国际安保集团     备案号:鄂ICP备2024050000号-1

清桥资讯

G5687
电话
400-6689-651

扫码加微信

首页

微信

扫码加微信

电话咨询

facebook

领英