-
2023年十大人工智能安全故事
生成式人工智能在 2022 年底席卷全球，让人工智能领域在 2023 年成为众人瞩目的焦点。 IBM 表示，尽管人工智能的采用率猛增，到 2023 年，35% 的企业将使用人工智能，42% 的企业将在未来探索人工智能的实施，但新的担忧也出现了。 以下是...
-
从模型、数据和框架三个视角出发，这里有份54页的高效大语言模型综述
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其...
-
英伟达：生成式 AI 可有效协助网络安全，寻找漏洞预测黑客攻击效率相比真人提升 20% 以上
12 月 29 日消息，利用生成式 AI 协助网络安全的话题近来相当热门，此前微软、谷歌等多家公司已经推出了一系列“专为网络安全优化的 AI 助手”，而英伟达公司信息安全部门负责人 David Reber Jr. 近日发布长文，提到软件开发者及安全人员...
-
清华大学研发 LLM4VG 基准：用于评估 LLM 视频时序定位性能
12 月 29 日消息，大语言模型（LLM）的触角已经从单纯的自然语言处理，扩展到文本、音频、视频等多模态领域，而其中一项关键就是视频时序定位（Video Grounding，VG）。 VG 任务的目的基于给定查询（一句描述），然后在目标视频段中定位...
-
生成式人工智能泡沫将于2024年破灭
由于法律挑战、技术限制以及概念框架根本性转变的需要，生成式人工智能泡沫将在2024年破灭。 像ChatGPT这样的项目因其改变人类生活各个方面的潜力而闻名，但由于预期的破坏似乎难以捉摸，因此面临着审查。 随着技术行业寻求克服众多挑战，有必要进行重新调整...
-
展望未来：人工智能的2024年
从生成式人工智能(GenAI 工具到拥抱AIOps，以下是人工智能的未来。 当我们站在2024年的边缘时，人工智能(AI 的发展轨迹将重新定义创新的边界。回顾生成式人工智能的历史，很明显，像ChatGPT和Bard这样的模型主要专注于文本处理。虽然具有...
-
这是GPT-4变笨的新解释
变笨的本质是知识没进脑子。 自发布以来，曾被认为是世界上最强大的 GPT-4也经历了多场「信任危机」。 如果说今年早些时候那次「间歇式降智」与 OpenAI 重新设计 GPT-4架构有关，前段时间的「变懒」传闻就更搞笑了，有人测出只要告诉 GPT-4「现在...
-
GPT-4变笨！回答新问题性能太差，想保持水准只能不断训练新模型
昨天，一篇系统性地研究了GPT-4为什么会「降智」的论文，引发了AI圈的广泛讨论。 随着大家对GPT-4使用得越来越频繁，用户每过一段时间都会集中反应，GPT-4好像又变笨了。 图片 最近的情况是，如果用户不小心和GPT-4说现在是12月份，GPT-4的...
-
大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉
大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。 幻觉是指由人工智能算法生成看似合理但却虚假或有误导性的响应。自 LLM 爆火以来，研究人员...
-
谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5
【新智元导读】谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗?最近，斯坦福和Meta的学者发文为Gemini正名。 Gemini的推理能力，真的比GPT-4弱吗? 此前，谷歌憋出的重磅复仇神器Gemini P...
-
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
最近几年发布的AI模型，如语言、视觉、音频、生物等各种领域的大模型都离不开Transformer架构，但其核心模块「注意力机制」的计算复杂度与「输入序列长度」呈二次方增长趋势，这一特性严重限制了Transformer在长序列下的应用，例如无法一次性处理一...
-
IT领导者在不断变化的需求和AI力量的权衡中探索立足点
2023年给世界各地的IT部门带来了许多变化，到目前为止最大的惊喜是GenAI，许多技术领军企业已经在预测性维护和供应链规划等方面与AI合作了十多年，有些人甚至实现了自己的虚拟个人助理，其中至少包括自然语言处理 - 有时还包括更多的智能。例如，在新...
-
网络安全专家 Mikko Hyppönen 对 2024 年的五大 AI 网络威胁发出警告
在网络安全前线战斗了数十年的 Mikko Hyppönen，这位 54 岁的专家最近在一次视频通话中向 TNW 透露了他对 2024 年最令人担忧的五大人工智能（AI）网络威胁。这些威胁并没有特定的顺序，尽管其中有一个是导致他最为失眠的。 深度伪造（...
-
工信部等八部门：探索建设区域人工智能数据处理中心
12 月 29 日消息，工业和信息化部、国家发展改革委、教育部、财政部、中国人民银行、税务总局、金融监管总局、中国证监会今日发布《关于加快传统制造业转型升级的指导意见》。 《意见》提出，探索建设区域人工智能数据处理中心，提供海量数据处理、生成式人工智能...
-
人工智能揭开拉斐尔名画的秘密：并非完全出自大师之手
12 月 31 日消息，最近，一个 人工智能神经网络在拉斐尔的一幅名画中发现了一个不同寻常之处：其中一幅面孔竟然不是出自拉斐尔本人之手。 这幅画名为《玫瑰圣母（Madonna della Rosa）》，长期以来，学者们一直对这幅画是否是拉斐尔原作争论不...
-
GPT-4抽象推理PK人类差距巨大！多模态远不如纯文本，AGI火花难以独立燃烧
GPT-4，可能是目前最强大的通用语言大模型。一经发布，除了感叹它在各种任务上的出色表现之外，大家也纷纷提出疑问：GPT-4是AGI吗？他真的预示了AI取代人类那一天的到来吗？ 推特上也有一众网友发起了投票： 其中，反对的观点主要在于： - 有限的推理...
-
大模型应用探索——企业知识管家
一、传统知识管理的背景与挑战 1、企业知识管理的必要性 知识管理是每个企业都面临的一个非常重要的环节，借助知识管家可以全面提升企业的效率。 一方面，随着互联网应用的发展，知识爆炸，如何实现企业知识的共享称成为企业面临的一个问题。企业通过知识共享不仅...
-
基础模型+机器人：现在已经走到哪一步了
机器人是一种拥有无尽可能性的技术，尤其是当搭配了智能技术时。近段时间创造了许多变革性应用的大模型有望成为机器人的智慧大脑，帮助机器人感知和理解这个世界并制定决策和进行规划。近日，CMU 的 Yonatan Bisk 和 Google DeepMind...
-
GitHub Copilot开发者酷游网址训练营
目标读者 已使用且【酷游网K͜W͜98典neт娜娜宝宝提供】想发挥GitHub Copilot所有潜能的使用者 想知道GitHub Copilot未来展望的使用者 想了解GitHub Copilot能力的开发者 简介 最近Open AI带起...
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
【网安AIGC专题10.19】论文4：大模型（CODEX 、CodeGen 、INCODER ）+自动生成代码评估：改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法
Is Your Code Generated by ChatGPT Really Correct? 写在最前面 主要贡献 这篇论文的创新点，为之后的论文提供了一些的启发 未来研究的方向：改进自动化测试方法、创建测试输入生成器、探索新的评估数...
-
神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测 ”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测 ”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求...
-
GPT-5不会真正突破，24年AGI不会实现！全网AI大佬24年最全预测
【新智元导读】经过23年的生成式AI之年，24年AI会有哪些新突破?大佬预测，即使GPT-5发布，LLM在本质上仍然有限，在24年，基本的AGI也不足以实现。 23年是当之无愧的「生成式AI之年」。 24年，AI技术会有哪些突破? 英伟达高级科学家Jim...
-
每个开发者都应该知道的6个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 一、LangChain 图片 LangCh...
-
LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr
LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件 实现基于源词表的扩展(中文标记的新词汇 进而实现持续预训练、(init_model.py文件 实现过计算均值来扩展模型的嵌入层以适应新的词汇表，然后保存扩展后的模型...
-
论文笔记--Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks
论文笔记--Goat: Fine-tuned LLaMA Outperforms GPT-4 on Arithmetic Tasks 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 LLM的选择 3.2 算数任务的可学习性(lear...
-
Mistral 欧洲最强模型团队的野望；国内大模型都是套壳LLaMA？Claude官方提示词教程-中英双语；AI原生应用难产了；AI Agents实践经验 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 看热闹不嫌事大！马斯克：OpenAI首席科学家 Ilya 应该跳槽到xAI https://www.businessinsider.com/...
-
《大模型AIGC系列课程》大纲
第1章：初识ChatGPT 【大模型AIGC系列课程 1-1】ChatGPT与OpenAI API的应用 【大模型AIGC系列课程 1-2】创建并部署自己的ChatGPT机器人 第2章：LLM的第二大脑 【大模型AIGC系列课程 2-1...
-
4、stable diffusion
github 安装anaconda环境 conda env create -f environment.yaml conda activate ldm 安装依赖 conda install pytorch==1.12.1 torchvision=...
-
聊聊拉长LLaMA的一些经验
Sequence Length是指LLM能够处理的文本的最大长度，越长，自然越有优势： 更强的记忆性。更多轮的历史对话被拼接到对话中，减少出现遗忘现象 长文本场景下体验更佳。比如文档问答、小说续写等 当今开源LLM中的当红炸子鸡——LLaMA...
-
一文读懂用于构建多代理的 CrewAI 开源框架
Hello folks，我是 Luga，今天我们继续来聊一下人工智能(AI 生态领域相关的技术 - AI Agents ，本文将继续聚焦在针对新型开源 AI Agents CrewAI 的技术进行解析，使得大家能够了解 CrewAI 的基本概念以及基于...
-
llama_index中query_engine的response_mode详解
文章目录 0. 前言 1. ResponseMode: tree_summarize （总结摘要-最优） 2. ResponseMode: generation 3. ResponseMode: no_text 4. ResponseMode:...
-
LLM之RAG实战（七）| 使用llama_index实现多模态RAG
一、多模态RAG OpenAI开发日上最令人兴奋的发布之一是GPT-4V API（https://platform.openai.com/docs/guides/vision）的发布。GPT-4V是一个多模态模型，可以接收文本/图像，并可以...
-
盘古智能体（Pangu-Agent）的五个创新点
随着大规模语言模型（Large Language Model，LLM）的发展和应用，人工智能领域出现了一种新的研究方向，即基于LLM的自主智能体（LLM-based Autonomous Agent）。这种智能体利用LLM的强大的表示能力和生成能力，可以...
-
Patronus AI发现LLM存在令人担忧的安全漏洞
自动评估和安全平台Patronus AI（守护神）发布了一个诊断测试套件SimpleSafetyTest的结果，该套件显示了大型语言模型(LLM 中的关键安全风险。该公告揭示了人工智能模型的局限性，并强调了改进的必要性，特别是对金融等高度监管行业的人工智...
-
史上最大AI版权案深度分析！OpenAI必败，还是纽约时报胜率为0？
纽约时报起诉OpenAI和微软的案子，可能成为影响AI技术发展的里程碑式案例。 《纽约时报》作为西方传统媒体中影响力最大的机构之一，下场与代表AI技术「最先进生产力」的OpenAI开撕，本身就话题性十足。 图片 一位传统媒体人Jason Kint，在读完...
-
在自定义数据集上微调Alpaca和LLaMA
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face 进行评估。此外还将介...
-
中科院和汪军团队发布 大模型玩星际争霸秀到起飞
面对星际争霸II这一巨大挑战，团队开发了TextStarCraftII——一个全新的交互环境。TextStarCraftII基于python-sc2框架，将游戏中的状态信息和动作空间映射到文本空间。宏观战略动作被转化为LLMAgent能够理解并执行的具体语...
-
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。 这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模...
-
精调llama模型
github地址：https://github.com/facebookresearch/llama-recipes github:https://github.com/facebookresearch/llama import torch from t...
-
人工智能 | Llama大模型：与AI伙伴合二为一，共创趣味交流体验
Llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LL...
-
Midjourney V6 引爆社交媒体，AI图像与照片的差别消失；LangChain的2023AI发展状况总结
? AI新闻 ? Midjourney V6 引爆社交媒体，AI图像与照片的差别消失 摘要：Midjourney V6 第二次社区评价震惊网友，神图细节逼真，光影效果逆天，皮肤质感细腻，已超越昨日版本。V6即将上线，预计在圣诞节前发布。其出图质量让...
-
李开复：中国大模型竞争异常激烈，最终将有几个大赢家
12月28日消息，根据风险投资家、谷歌中国前总裁李开复的预测，中国的生成式人工智能创业公司正在经历一场“预选赛”。他今年早些时候创立了零一万物（01.AI），这是一家总部位于北京的初创公司，专注于开发大语言模型（LLM）。上个月，该公司完成了一轮融资，...
-
2024年我期待的五个AI故事
在OpenAI于2022年11月发布ChatGPT之后，我喜欢称之为AI新闻的持续“海啸”，我不必等待很长时间：从GPT-4和欧盟AI法案到AI搜索之战，开放与封闭AI之争，以及对训练数据和计算能力的渴望，我多次写下了所有这些话题。 现在，距离新年只有...
-
Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开
大型语言模型 (LLM 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选...
-
图灵奖得主Yann LeCun最新专访：AI将接管世界，但不会征服人类！
当他的前合作者 Geoffrey Hinton和 Yoshua Bengio 宣称 AI 灭绝论时，LeCun 并没有参与。相反，他签署了一封公开信，呼吁拥抱开源 AI，并称 AI不应由少数几家企业控制。 那么，AI 到底是会给人类带来毁灭性灾难，还是会...
-
微软推大模型整合性工具库PromptBench
微软最近推出了一个专门用于评估大语言模型的整合性工具库，名为PromptBench。该工具库提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击等，以支持研究人员从不同方面对LLMs进行评估和分析。 项目地址:https:/...
-
功能性产品经理进入AI的尴尬局面
极客公园2024年大会，我看了王小川和张鹏之间的对话，聊到了产品经理在AI时代下的新能力，对于这段视频，感兴趣的朋友可以去搜索。 王小川作为已经8个月在AI大模型赛道的创业者，也是国内大模型厂商的第一批，相信他对于AI产品经理的看法、变化、和发展想法，是非...
-
大模型+机器人，详尽的综述报告来了，多位华人学者参与
大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。 预训练的大型语言模型（LLM）、大型视觉 -...
-
人工智能如何改变视频监控行业
通过将视频数据与其他信息源相结合，最新的人工智能解决方案不仅可以识别物体和事件，还可以理解复杂的人类行为和交互。其结果是一次巨大的飞跃，从被动观察的工具到主动、智能行动的工具。 实时监控数十个摄像头场景对于人类来说是一项繁琐且疲惫的任务。仅靠人类操作员...