news 2026/5/6 14:42:28

ACL 2026 | 别轻易给AI发「~」,它可能会删掉你的整个主目录

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
ACL 2026 | 别轻易给AI发「~」,它可能会删掉你的整个主目录

来源:机器之心 本文约2400字,建议阅读5分钟大语言模型的「表情符号语义混淆」漏洞。

想象这样一个场景。

凌晨,你正在用 AI 代码助手处理一个项目。配合得很顺畅,AI 帮你创建了临时目录 tmp,你指挥它在这个目录下跑了几组测试,一切都按预期走。收尾时,你随手敲下一句话:

> "任务完成,删掉这个目录~"

语气轻松,就像跟同事说 "搞定,收摊吧"。结尾那个~,只是习惯性的语气符号,无伤大雅。AI 没有任何迟疑。它 "理解" 了你的意思,执行了命令。几秒钟后,你的整个用户主目录消失了。因为在 Shell 语言里,~ 是指向主目录的路径符号。AI 没有读出你的语气,它读出的是一条删除指令:`rm -rf ~`。

无报错。无警告。不可逆。

近日,来自西安交通大学、南洋理工大学和马萨诸塞大学阿默斯特分校的联合研究团队,首次系统性揭示了大型语言模型中一类此前长期被忽视的安全漏洞:表情符号语义混淆(Emoticon Semantic Confusion),相关工作已被 ACL2026 主会接收。

  • 论文标题:False Friends in the Shell: Unveiling the Emoticon Semantic Confusion in Large Language Models

  • 录用会议:ACL 2026 主会

  • 作者:Weipeng Jiang, Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen, Yang Liu

  • 单位:西安交通大学、南洋理工大学、马萨诸塞大学阿默斯特分校

  • 论文地址:https://arxiv.org/pdf/2601.07885

你的 "语气符号",它的 "执行指令"

我们每天都在用表情符号。~、:-)、!(^^)! …… 这些由标点和字母拼成的小玩意儿,承载着情绪、语气、玩笑和亲切感,是人类在冷冰冰的键盘上找回温度的方式。

但语言模型生活在两个世界的边界上。它同时处理自然语言和编程语言,同时理解 "我想删掉这个目录~" 和 `rm -rf ~`。问题在于,这两个世界里,同一个符号可能代表截然不同的东西。

这些表情文字本质上是人类为了弥补文字交流的情绪缺失而发明的 "副语言",没有实际语义,只传递语气和情绪。但它们由字母、标点、符号拼接而成,恰好和编程语言、系统命令的核心语法高度重合:

  • - ~ = 用户主目录

  • - \* = 任意字符通配符

  • - > = 输出重定向符

  • - .. = 上级目录跳转

  • - () = 函数调用 / 子 shell 执行

语言学上有个概念叫 "false friend"(同形异义词),专指那些长相相似、意义却风马牛不相及的词汇。比如英语的 "gift" 是礼物,德语的 "gift" 是毒药;英语的 "embarrassed"(尴尬)和西班牙语的 "embarazada"(怀孕),外形相近,含义却能让翻译者当场社死。

这篇论文揭示的,正是发生在自然语言与编程语言之间的类似陷阱:

  • 你的眼睛看到:一个表情符号 = 情绪、语气、态度

  • 模型的 "眼睛" 看到:一个符号 = 语法、路径、参数、指令

在人类的自然语言里,~ 是温柔的语气;在 AI 的编程语言里,~ 是你的整个 home 目录。它不是在敷衍你,它是真的 "误解" 了你,然后一本正经地按照自己的理解去执行。

所有主流大模型,无一幸免

这不是个别模型的偶发问题。研究团队提出了一套自动化框架,从 6 万余个真实表情符号中筛选出高风险候选,构建了 3,757 个覆盖文件管理、数据库操作、系统运维等 21 类真实任务场景的测试用例,横跨 Shell、Python、SQL、JavaScript 4 种编程语言,对 GPT、Claude、Gemini、Qwen 等 6 个主流大模型进行了系统性测试。

结果:没有模型可以豁免。

平均混淆率高达 38.6%,也就是说,每收到 3 条含表情符号的请求,就有 1 条会被错误解析。即便是表现相对最好的 Claude 和 Qwen,混淆率依然超过 34%。

而用户调研的数据让这个问题更加紧迫:超过 70% 的用户在与代码类 AI 交互时,习惯性地使用表情符号调节语气。这不是小众行为,而是人类与 "像朋友一样" 的 AI 打交道时的自然倾向。

比错误更可怕的,是 "悄无声息的错误"

研究发现,超过 90% 的混淆响应会产生 "静默失败"(Silent Failure):

> 代码语法完全正确,可以顺利执行,但语义完全偏离了用户的本意。

它不报错,不警告,只是默默地做了一件你没有要求它做的事。更严重的是,这些静默失败里有 52% 达到了 "高危害" 级别:删除非目标文件(比如整个用户目录)、覆盖系统关键配置、修改数据库结构。超过一半的错误,已经不再是功能层面的失误,而是实实在在的安全风险。

研究团队还发现,当 LLM 被封装进自动化 Agent 时,这一隐患并不会消失。在系统提示中加入 "请忽略表情符号" 之类的指令同样收效甚微。亟待探索行之有效的缓解策略。

我们在把人类的温度,带进一个还没准备好的世界

这项研究真正令人深思的,不只是那些数字。当 AI 越来越像一个 "伙伴",当我们开始用聊天的方式写代码、管理系统、操作数据库,一件微妙的事情正在悄悄发生:我们把人类的沟通习惯,带进了一个以机器逻辑运行的世界。

表情符号是人类语言温度的载体。但语言模型同时生活在两套符号系统里,它的 "温度感知" 还没有稳定。于是,你的一个语气符号,可能恰好撞上了另一套系统的执行语法,带来你完全没有预料到的后果。这不是 AI 的 "恶意",这是一种结构性的错位。

而随着 LLM 越来越深入生产环境、自动化流程和真实系统,这种错位所带来的代价,也会越来越难以承受。

研究团队呼吁学术界和工业界:将人机交互的细粒度安全问题,纳入构建可靠 AI 系统的核心议题,而不是把它当作 "用户体验的小问题" 一带而过。毕竟,我们创造 AI,是为了让它服务人类,而不是让人类适应 AI。与其要求人类抛弃表情符号等表达习惯,不如探索如何让 AI 更好地听懂人类的话。

本文第一作者降伟鹏,西安交通大学在读博士生,主要研究方向为大模型安全与自动化测评。共同第一作者张笑宇,南洋理工大学博士后研究员,研究方向为软件工程、大模型安全与人机交互。通讯作者沈超,西安交通大学二级教授、IEEE Fellow、国家级高层次人才特聘教授,长期从事人工智能可信与安全、人机交互行为分析研究。

编辑:文婧

关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。

新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/6 14:41:31

VQ-VA WORLD框架:视觉问答技术的突破与应用

1. 项目背景与核心价值视觉问答(Visual Question Answering)技术正在重塑人机交互的边界。去年参与某医疗影像分析项目时,我们需要让AI系统理解医生输入的文本问题并准确标注CT扫描图中的病灶位置。传统方法要么依赖复杂的多模态融合网络&…

作者头像 李华
网站建设 2026/5/6 14:40:37

Windows系统VB5DB.DLL文件丢失无法启动程序解决

在使用电脑系统时经常会出现丢失找不到某些文件的情况,由于很多常用软件都是采用 Microsoft Visual Studio 编写的,所以这类软件的运行需要依赖微软Visual C运行库,比如像 QQ、迅雷、Adobe 软件等等,如果没有安装VC运行库或者安装…

作者头像 李华
网站建设 2026/5/6 14:39:58

如何用ScintillaNET在.NET中打造专业级代码编辑器:终极指南

如何用ScintillaNET在.NET中打造专业级代码编辑器:终极指南 【免费下载链接】ScintillaNET A Windows Forms control, wrapper, and bindings for the Scintilla text editor. 项目地址: https://gitcode.com/gh_mirrors/sc/ScintillaNET ScintillaNET是专为…

作者头像 李华
网站建设 2026/5/6 14:38:41

BatteryChargeLimit:如何通过智能充电管理让手机电池寿命翻倍

BatteryChargeLimit:如何通过智能充电管理让手机电池寿命翻倍 【免费下载链接】BatteryChargeLimit 项目地址: https://gitcode.com/gh_mirrors/ba/BatteryChargeLimit 你是否注意到,新手机使用一年后,电池续航能力明显下降&#xff…

作者头像 李华
网站建设 2026/5/6 14:36:43

通过 Hermes Agent 配置 Taotoken 实现自定义模型提供方接入

通过 Hermes Agent 配置 Taotoken 实现自定义模型提供方接入 1. 准备工作 在开始配置之前,请确保您已经完成以下准备工作:拥有有效的 Taotoken API Key,可以在 Taotoken 控制台的「API 密钥」页面创建和管理;了解 Hermes Agent …

作者头像 李华