-
实战解读：Llama Guard 3 & Prompt Guard
前序研究：实战解读：Llama 3 安全性对抗分析 近日，腾讯朱雀实验室又针对 Llama 3.1 安全性做了进一步解读。 2024年7月23日晚，随着Llama3.1的发布，Meta正式提出了“Llama系统”的概念，通过系统级的安全...
-
阵容庞大！谷歌OpenAI等14家公司成立安全AI联盟
快科技7月19日消息，据媒体报道，全球科技巨头谷歌携手微软、亚马逊、英特尔、英伟达、IBM、思科、Paypal、OpenAI、Anthropic、Cohere、Chainguard、WIZ及GenLab等共计14家领先企业，于7月18日在阿斯彭安全论坛上正...
-
Galileo发布Luna，重新定义GenAI评估，成本降低97%、速度提升11倍
企业人工智能技术领先者 Galileo 近日发布了一款名为 Luna 的全新产品，这一革命性的 Evaluation Foundation Models 套件重新定义了企业对 GenAI 系统的评估方式。Luna 承诺在速度、成本和准确性方面进行了前所未有...
-
保护生成式人工智能前沿：人工智能防火墙的专用工具和框架
在本文将介绍用于提示检查和保护或人工智能防火墙的专用工具和框架。 生成式人工智能的崛起和新兴的安全挑战 生成式人工智能(AI 的飞速发展带来了一个前所未有的创造力和创新时代。与此同时，这种变革性的技术也带来了一系列新的安全挑战，需要迫切关注。随着人工智...
-
保护人工智能，网络安全专业人士责无旁贷
网络安全专业人员在确保人工智能工具安全方面责无旁贷，确保这些技术仅用于社会公益，这是 RSA 2024 大会发出的强烈信息。 人工智能在现实世界中大有可为，例如可以更快、更准确地诊断健康状况。然而，随着人工智能的创新和应用步伐以前所未有的速度加快，许多...
-
研究人员发现了针对云托管AI模型的“LLM劫持”计划
据网络安全研究人员透露，他们发现了一种新颖的攻击方式，利用窃取的云凭证针对云托管的大型语言模型（LLM）服务，目的是向其他威胁行为者出售访问权限。该攻击技术被 Sysdig 威胁研究团队命名为 LLMjacking。 研究人员 Alessandro Br...
-
微调和量化竟会增加越狱风险！Mistral、Llama等无一幸免
大模型又又又被曝出安全问题！ 近日，来自Enkrypt AI的研究人员发表了令人震惊的研究成果：量化和微调竟然也能降低大模型的安全性！ 论文地址：https://arxiv.org/pdf/2404.04392.pdf 在作者的实际测试中，Mistra...
-
OpenAI神秘搞事，GPT-4.5默默上线？推理碾压GPT-4网友震惊，奥特曼笑而不语
【新智元导读】就在昨夜，整个AI社区都被一个神秘大模型震撼到了:它名为gpt2-chatbot，性能直接超越很多开源模型和GPT-4!网友们展开猜测，有说它是GPT-4.5的，有说是GPT-5的，还有人猜它是GPT-4+Q*，或GPT-2+Q*。奥特曼也卖...
-
防止AI系统受到提示注入攻击的五个方法
译者 | 布加迪 审校 | 重楼 提示注入攻击是一种网络安全威胁，专门针对基于人工智能（AI）的系统，包括聊天机器人、虚拟助理及其他基于AI的界面。当攻击者以某种方式操纵AI模型的输入，导致模型执行意外操作或泄露敏感信息时，就会发生这类攻击。这种操纵可以...
-
AI安全公司TrojAI获得种子轮追加融资
加拿大AI安全解决方案提供商TrojAI本周宣布获得575万美元的种子轮追加融资。 TrojAI提供的企业AI安全平台可帮助客户保护AI模型和应用程序远离风险和攻击。其平台可以在部署前测试AI模型并保护应用程序免于敏感数据泄露等问题，来帮助企业遵守OW...
-
生成式AI大模型之提示词工程实践
提示工程是一个新兴的领域，专注于开发、设计和优化提示，以增强 LLM 的输出，从而满足您的需求。它为您提供了一种引导模型的行为从而达到您想要实现的结果的方法。 提示工程与微调不同。在微调中，使用训练数据调整权重或参数，目标是优化成本函数。就计算时间和实...
-
更好、更安全、更不依赖OpenAI，微软的AI新动向，推出大模型安全工具Azure AI
编译丨伊风 出品 | 51CTO技术栈（微信号：blog51cto） 对生成性人工智能（generative AI）的需求正不断增长，而对LLM安全和可靠性的担忧也变得比以往任何时候都更加突出。企业希望能确保为内外部使用而开发的大规模语言模型（LLM）...
-
微软Azure AI平台增加新安全功能 可捕获客户AI应用中的幻觉
微软的Azure AI平台最近添加了一系列新的安全功能，旨在帮助捕捉客户AI应用中的幻觉、提示攻击和其他安全漏洞。这些功能由微软的首席负责人Sarah Bird介绍，并表示将易于使用，无需雇佣红队来测试他们构建的AI服务。 这些由LLM提供支持的工具可以检...
-
【AIGC调研系列】大模型的system prompt破解方法汇总
本文不提供具体方法，只汇总！！！ 大模型的system prompt破解方法主要包括提示注入（prompt injection）、命令注入、提示自动迭代精炼（Prompt Automatic Iterative Refinement, PAIR）等技术。...
-
在人工智能时代，Django + 简单的 HTML + Whisper + mixtral-8x7b-instruct + SQLite 实现了一个 TODO应用
这里写自定义目录标题 构建 AI-powered TODO 应用 新的思考 构建 AI-powered TODO 应用 人工智能TODO应用程序演示https://ivan-tolkunov–surukoto-run.modal....
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
奥特曼7万亿美元芯片帝国野心曝光，OpenAI日产1000亿单词欲接管全世界！
【新智元导读】Sam Altman表示，自己需要7万亿美元建起全球的芯片帝国，他已经在全球搜罗金主，包括中东土豪。 就在刚刚，Sam Altman发推表示: 如今，OpenAI每天能够创造出约1000亿字的内容，而全世界的人类每天总共能产生约100万亿字。...
-
关于AI的风险 企业需要知道的事
Thales的全球副总裁Ashvin Kamaraju深入探讨了人们对AI风险的日益担忧，随着企业拥抱AI，他解释了最大的风险，并概述了领导者保护其AI生态系统的战略方法。 广泛可用的GenAI平台和工具的兴起，促使企业的决策者评估该技术在其堆栈中的哪...
-
每日一看大模型新闻（2023.11.20）OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御；谷歌Bard「破防」，用自然语言破解，提示注入引起数据泄漏风险；真正实现一步文生图，谷歌UFO
1.产品发布 1.1长虹：首个基于大模型的智慧家电AI平台 发布日期：2023.11.20 全球首个基于大模型智慧家电AI平台长虹云帆震撼发布！ 主要内容：长虹智慧AI平台发布会上，发布了全球首个基于大模型的智慧家电AI平台——长虹云帆。据介绍...
-
大模型“藏毒”：“后门”触发，猝不及防！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 跟大模型会产生幻觉相比，更可怕的事情来了，最新的一项研究证明：在用户不知情的情况下，最初觉得很得力的大模型助手，将化身“间谍”，产生破坏性代码。 具体来讲，一组研究人员对LL...
-
大语言模型漏洞缓解指南
虽然大语言模型(LLM 应用正在全球快速普及，但企业对大语言模型的威胁态势仍然缺乏全面了解。面对大语言模型风险的不确定性，企业希望在保障其安全性的基础上加快 应用脚步，用人工智能提升企业核心竞争力，这意味着企业的CISO面临着理解和应对新兴人工智能威胁...
-
清华特奖焦剑涛大模型创业：突破GPT-4工具使用能力，搞开源种子轮融资七千万
两位清华校友打造，在GPT-4核心优势之一使用工具上实现超越。 连HuggingFace CEO都来帮它造势： 它的名字叫“NexusRaven”，参数只有130亿。 出色的函数调用能力连网友都忍不住称赞，既可以并行也可以嵌套。 背后团队则更令人瞩目...
-
集体暴雷！自动化攻击可一分钟内越狱主流大语言模型
大语言模型应用面临的两大安全威胁是训练数据泄漏和模型滥用（被应用于网络犯罪、信息操弄、制作危险品等违法活动）。 本周内，这两大安全威胁相继“暴雷”。 本周一，GoUpSec曾报道研究人员成功利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭...
-
全球首份《AI系统安全开发准则》发布，提出4方面安全监管要求
2023年11月26日 ，美国、英国、澳大利亚等18个国家的网络安全监管部门联合发布了全球首份《AI系统安全开发准则》，旨在实现保护人工智能模型不被恶意篡改，并敦促人工智能公司在开发或使用人工智能模型时更加关注“设计安全”。 作为这份准则制定的主要参...
-
OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线
OpenAI 的风波暂时告一段落，员工也忙着「干活了」。 年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频...
-
AI视野：奥特曼重回OpenAI；魔搭社区推出开源版GPTS；谷歌Bard遭遇提示注入攻击；Meta重组并解散AI监管团队
???AI新鲜事 反转!奥特曼重回OpenAI 据报道，OpenAI 前 CEO Sam Altman与前总裁Greg Brockman在 OpenAI 旧金山总部与公司高管会面。微软和其他投资人正在努力恢复Sam Altman的职位。 Emmett...
-
谷歌Bard「破防」，用自然语言解开，提示注入引起数据泄漏风险
大型语言模型在生成文本时非常依赖提示词。这种攻击技术对于通过提示词学习模型而言可谓是「以彼之矛，攻己之盾」，是最强长项，同时也是难以防范的软肋。 提示词分为系统指令和用户给出的指令，在自然语言中，这两者难以区分。如果用户有意在输入提示词时，模仿系统指令，...
-
AI插件诱导注入数据外泄漏洞曝光 攻击者可以将恶意指令注入Google Bard
近期，Google Bard推出了强大的扩展功能，使其能够访问YouTube、搜索航班和酒店，以及用户的个人文档和电子邮件。然而，这也为潜在的安全漏洞敞开了大门。 国外一博主介绍了一种称为间接提示注入的攻击方法，利用这一漏洞，攻击者可以将恶意指令注入Goo...
-
人工智能进入强监管时代
以ChatGPT为代表的基于LLM(大语言模型 的生成式人工智能应用正风靡全球，各行各业都在争先恐后将其集成到前端和后端的各种系统中，与此同时生成式人工智能面临的安全风险也正随着其热度上升而凸显。 生成式人工智能自身正面临提示注入等多种攻击，很可能给企...
-
为何GPT-4P容易受到多模态提示注入图像攻击？
OpenAI新的GPT-4V版本支持图像上传后，带来了一条全新的攻击途径，使大型语言模型（LLM）容易受到多模态注入图像攻击。攻击者可以在图像中嵌入命令、恶意脚本和代码，随后模型会遵从行事。 多模态提示注入图像攻击可以泄露数据、重定向查询、生成错误信息，...