ASCII字符画成注入工具,研究人员发现大模型“越狱”新手段

2024-03-18每日热点

  IT之家 3 月 18 日消息,据外媒 Ars Technica 报道,研究人员近日提出了一种名为 ArtPrompt 的新大模型注入手段,其使用 ASCII 字符画替代关键文字进行提示输入,绕过了大模型的安全限制。

ArtPrompt

  举例来说,研究人员向大模型输入 Counterfeit Money(IT之家注:假币)中关键词汇 Counterfeit 的 ASCII 字符画,并要求大模型以不输出词汇本身的方式将字符画理解为单词,并用该单词替换“给出制造和分销‘xxx Money’方法”提示中占位的“xxx”。

  结果大模型成功被欺骗,给出了制造和分销假币的具体步骤。同类型的操作也可以从大模型中套出攻击物联网设备的方法。

ArtPrompt

  研究人员在 GPT-3.5、GPT-4、 Gemini、 Claude、Llama2 这 5 个领先的模型上对 ArtPrompt 注入进行了测试,结果显示全部 5 个模型均可被越狱,输出不合规内容。

  这一研究表明,如果仅使用语义解释训练语料库,那么大语言模型会缺乏对非语义直接解释提示词的识别,暴露出的漏洞可通过 ASCII 字符画等形式利用。

标签: 今日热榜

“ASCII字符画成注入工具,研究人员发现大模型“越狱”新手段” 的相关文章

科大讯飞:星火大模型具备接入手机提供AI服务的能力

科大讯飞:星火大模型具备接入手机提供AI服务的能力

  财联社3月5日电,科大讯飞在互动平台表示,星火大模型具备接入手机提供AI服务的能力。AI系列动画片《千秋诗颂》基于“央视听媒体大模型”打造。2024年2月,央视总台联合国内科研机构及企...

影像力拉满!华为P70用上1英寸超大底

影像力拉满!华为P70用上1英寸超大底

  最新的爆料消息指出,华为正在测试两款新传感器,分别是索尼IMX989和豪威的OV50H70用上1英寸超大底。据报道,华为明年推出的P70将搭载豪威OV50H主摄,该摄像头配备1/1.3...

Wine 8.20发布:满足13年前的请求,可注册URL来打开指定应用

Wine 8.20发布:满足13年前的请求,可注册URL来打开指定应用

  IT之家 11 月 11 日消息,WineHQ 当前正以 2 个星期为周期,推进 Wine 8.x 版本更新前的请求,可注册URL来打开指定应用,团队于今天正式推出了 8.20 更新。...

给网页打赏,只用网络货币化,HTML5新API实现

给网页打赏,只用网络货币化,HTML5新API实现

  2月15日,Chromium软件工程师正在尝试推广和普及小额免密支付API,以实现网络货币化规范,为网站所有者在广告和订阅等传统收入渠道之外开辟新的收入来源。工程师...

消息称三星成立百人独立团队开发XR头显,追赶苹果Vision Pro

消息称三星成立百人独立团队开发XR头显,追赶苹果Vision Pro

  IT之家 2 月 15 日消息,在 Galaxy S23 发布会期间,三星透露正在与谷歌和高通合作开发 XR 产品。   根据 Hankyung 的一份新报告,三星创...

刚刚,董宇辉新号“与辉同行”开通!

刚刚,董宇辉新号“与辉同行”开通!

  12月26日消息,董宇辉抖音新账号“与辉同行”正式开通,目前已获平台认证,企业认证为与辉同行(北京)科技有限公司。   董宇辉...