-
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型（MLLMs）领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在明显的空白。为填补这一空白，腾讯人工智能实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型...
-
大模型免微调解锁对话能力，RLHF没必要了！一作上交大校友：节省大量成本和时间
要搞大模型AI助手，像ChatGPT一样对齐微调已经是行业标准做法，通常分为SFT+RLHF两步走。 来自艾伦研究所的新研究却发现，这两步都不是必要的？？？ 新论文指出，预训练完成刚出炉的基础模型已经掌握了遵循指令的能力，只需要提示工程就能引导出来，引起...
-
使用 AI 越狱 AI 模型：新方法可系统地探测 GPT-4 等大型语言模型的弱点，从而使其行为异常
上个月，OpenAI 董事会突然解雇了该公司的首席执行官，这引发了人们的猜测：董事会成员对人工智能突飞猛进的发展速度以及过快寻求技术商业化可能带来的风险感到震惊。 Robust Intelligence 是一家成立于 2020 年的初创公司，与耶鲁大学的...
-
调查显示，仅10%企业在过去一年采用生成式AI解决方案
近日，由cnvrg.io进行的2023ML Insider调查显示，生成式AI（GenAI）应用虽然备受期待，但在过去一年中仅有10%的企业将其纳入生产中。这一结果或许引起人们对这一趋势的矛盾看法。 这项年度调查对全球430名技术专业人士进行了全面分析，了...
-
GPT-4 未通过图灵测试，GPT-3.5 还败给六十年前的老 AI 系统，最新研究出炉！
过去一年间，能说会道的ChatGPT、最新的 GPT-4大模型，其能力也已超乎很多人的想象，一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远? 近日，一篇由加州大学圣迭戈分校的...
-
Mozilla 让人们将 AI LLM 变成单文件可执行文件，简化大型语言模型的分发和运行
供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。 Mozilla 的创新团队最近发布了...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互
LLMs之LLaMA-2：源码解读(tokenizer.py文件 基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互转换，以便与深度学习模型进行交互 目录...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
一言不合就跑分，国内AI大模型为何沉迷于“刷榜”
“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。同理在PC处理器、显卡上，同样也有相应的跑分软件来衡量它们的性能。 既然“万物皆可跑分”，...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
亚马逊的 Trainium2 AI 芯片配备 96GB HBM，训练性能提高四倍
本周，亚马逊网络服务（AWS）推出了其新的人工智能（AI）加速器芯片 Trainium2，相比其前身，它显著提升了性能，使 AWS 能够训练具有高达数万亿参数的基础模型（FMs）和大型语言模型（LLMs）。此外，AWS 还为自己设定了一个宏伟目标，即使其客...
-
22LLMSecEval数据集及其在评估大模型代码安全中的应用：GPT3和Codex根据LLMSecEval的提示生成代码和代码补全，CodeQL进行安全评估【网安AIGC专题11.22】
LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations 写在最前面 主要工作 课堂讨论 大模型和密码方向（没做，只是一个idea） 相关研究 提示集目...
-
GAIA基准测试揭示人类胜过GPT-4的惊人差距
近日，来自FAIR Meta、HuggingFace、AutoGPT和GenAI Meta的研究人员共同致力于解决通用人工智能助手在处理需要基本技能，如推理和多模态处理的现实问题上所面临的挑战。他们推出了GAIA，这是一个旨在通过定位人类级别的鲁棒性来实现...
-
【网安AIGC专题】46篇前沿代码大模型论文、24篇论文阅读笔记汇总
网安AIGC专题 写在最前面 一些碎碎念 课程简介 0、课程导论 1、应用 - 代码生成 2、应用 - 漏洞检测 3、应用 - 程序修复 4、应用 - 生成测试 5、应用 - 其他 6、模型介绍 7、模型增强 8、数据集 9、模型安全...
-
Visual chatgpt多模态大模型的前菜
刚开始感觉这就是一篇工程类文章，把各种的模型做了整合，把最近很热的两个方向chatgpt和文本生成图、图文提问整合在一起。看完文章发现自己太自傲了，绝对轻视了微软亚研院大佬们的实力。 表面看起来这是一个用chatgpt做意图理解、对话管理，然后用...
-
TS版LangChain实战：基于文档的增强检索（RAG） | 京东云技术团队
LangChain LangChain是一个以 LLM （大语言模型）模型为核心的开发框架，LangChain的主要特性： 可以连接多种数据源，比如网页链接、本地PDF文件、向量数据库等 允许语言模型与其环境交互 封装了Model I/O（输...
-
中文版LLaMA：Chinese-LLaMA-Alpaca
GitHub：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs 以ChatGPT、GP...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
LLMs之Code：大语言模型纵向赋能场景—垂直行业场景应用之大模型代码场景的简介、主流LLMs(SQLCoder/Code Llama/Ziya-Coding/CodeShell等)及其评估
LLMs之Code：大语言模型纵向赋能场景—垂直行业场景应用之大模型代码场景的简介、主流LLMs(SQLCoder/Code Llama/Ziya-Coding/CodeShell等 及其评估基准(包括数据集 、案例应用之详细攻略 目录 大模...
-
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
文章目录 Llama 2: Open Foundation and Fine-Tuned Chat Models 1.简介 2.预训练 2.1 预训练数据 2.2 训练详情 2.3 LLAMA 2 预训练模型评估 3. 微调 3.1 s...
-
比「让我们一步一步思考」这句咒语还管用，提示工程正在被改进
大型语言模型（LLM）已经是许多自然语言处理任务的强大工具，只要能给出正确的提示。然而，由于模型的敏感性，找到最优提示通常需要进行大量手动尝试和试错努力。此外，一旦将初始提示部署到生产环境中，可能会出现意想不到的边缘情况，需要更多轮的手动调整来进一步完善...
-
【类ChatGPT】中文LLaMA-2、Alpaca-2 二代羊驼大模型体验
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训...
-
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的che
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件 —模型训练前置工作(参数解析+配置日志 →模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer →数...
-
Chatbot开发三剑客：LLAMA、LangChain和Python
聊天机器人（Chatbot）开发是一项充满挑战的复杂任务，需要综合运用多种技术和工具。在这一领域中，LLAMA、LangChain和Python的联合形成了一个强大的组合，为Chatbot的设计和实现提供了卓越支持。 首先，LLAMA是一款强大的自然语...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
OpenAI内斗时，Karpathy在录视频：《大型语言模型入门》上线
OpenAI 的风波暂时告一段落，员工也忙着「干活了」。 年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言模型（LLM）的 30 分钟入门讲座，但该讲座当时没录制。因此，他基于这场讲座重新录制了一个长达 1 小时的视频...
-
牛津大学AI研究员发出警告:大语言模型对科学真相构成风险
在最新的一篇研究中，牛津大学互联网研究所的人工智能研究员发出了对大语言模型（LLMs）对科学真相构成威胁的警告。由Brent Mittelstadt、Chris Russell和Sandra Wachter等研究员在《自然人类行为》期刊上发表的论文中，他们...
-
清华大学提出全新加速训练大模型方法SoT
近日，微软研究和清华大学的研究人员共同提出了一种名为“Skeleton-of-Thought（SoT）”的全新人工智能方法，旨在解决大型语言模型(LLMs 生成速度较慢的问题。 尽管像GPT-4和LLaMA等LLMs在技术领域产生了深远影响，但其处理速度的...
-
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py 目录 一、l...
-
拒绝996低效率：ChatGPT助你轻松搞定代码注释和文档
良好的注释对于任何成功的Python项目来说都至关重要。在实际操作中，编写注释是一件困难且耗时费力的工作，因此一些开发人员并不喜欢这样做。幸运的是，借助大型语言模型（LLMs）和像ChatGPT这样的工具，您可以迅速为您的Python代码和项目编写注释...
-
南开大学与字节跳动研究人员推出开源AI工具ChatAnything：用文本描述生成虚拟角色
南开大学与字节跳动研究人员合作推出了一项引人注目的研究，发布了一种名为ChatAnything的全新AI框架。该框架专注于通过在线方式生成基于大型语言模型（LLM）的角色的拟人化形象，从而创造具有定制视觉外观、个性和语调的人物。 简答的说，ChatAnyt...
-
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 导读：该论文提出了一个开源的大规模语言模型LLaMA，2048个A100-80G训练21天。该...
-
KAUST研究团队推出大模型心智交互框架CAMEL 教AI Agents学会协作与竞争
近期，KAUST研究团队推出的CAMEL框架引起了广泛关注。该框架以角色扮演为基础，使AI Agents在复杂任务中能够协作和竞争，产生惊人的群体智能效果。NeurIPS2023录用的这一项目探索了大型语言模型（LLMs）领域的新方向。 项目地址:htt...
-
用深度催眠诱导LLM「越狱」，香港浸会大学初探可信大语言模型
尽管大语言模型 LLM (Large Language Model 在各种应用中取得了巨大成功，但它也容易受到一些 Prompt 的诱导，从而越过模型内置的安全防护提供一些危险 / 违法内容，即 Jailbreak。深入理解这类 Jailbreak 的...
-
LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插
LLMs之Colossal-LLaMA-2：源码解读(train.py文件 基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件 →数据预处理(初始化分词器+数据处理器+数据加载器 ...
-
AIGC技术周报｜ChatDoctor：哪里不舒服；HuggingGPT：连接大模型和机器学习社区；ChatGPT真的鲁棒吗？
AIGC通过借鉴现有的、人类创造的内容来快速完成内容创作。ChatGPT、Bard等AI聊天机器人以及Dall·E 2、Stable Diffusion等文生图模型都属于AIGC的典型案例。「AIGC技术周报」将为你带来最新的paper、博客等前瞻性研究。...
-
LLMs之LLaMA-2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同
LLMs之LLaMA-2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务 、同时微调LLaMA2模型(采用Conda环境安装tg we...
-
使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：
一、下载示例 from huggingface_hub import snapshot_download repo_id = "THUDM/chatglm2-6b" local_dir = './chatglm2-6b/' cache_dir = l...
-
谷歌研究:通过对抗性数据生成和多元评估应对GenAI的道德和安全风险
谷歌研究团队在人工智能领域持续推动着对生成式AI（GenAI）安全的研究，以应对其在虚假信息、偏见和安全性方面带来的挑战。作为谷歌研究的一部分，负责构建负责任的AI和数据系统的Responsible AI and Human-Centered Techno...
-
研究发现，ChatGPT 能理解和回应人类情感
自从 OpenAI 的聊天机器人 ChatGPT 走红以来，人们对人工智能（Artificial Intelligence，简称 AI）的兴趣达到了新的高度。虽然 AI 并不是一个新领域，但它确实是一个相对未被探索的行业，越来越多的公司正在投入资源进行研究...
-
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部
LLMs之Vicuna：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub 进行模型权重合并(llama-7b模型与delta模型权重 、模型部署且实现模型推理全流程步骤的图文教程(非常详细 ...
-
LLM幻觉问题全梳理！哈工大团队50页综述重磅发布
幻觉，老朋友了。 自打LLM进入我们的视野，幻觉问题就一直是一道坎，困扰着无数开发人员。 当然，有关大语言模型幻觉的问题已经有了无数研究。 最近，来自哈工大和华为的团队发表了一篇50页的大综述，对有关LLM幻觉问题的最新进展来了一个全面而深入的概述。 这...
-
IBM 推出 Watsonx.governance 以提升企业 AI 模型透明度和治理能力
IBM 今日宣布，旗下产品 Watsonx.governance 将于 12 月初正式面市，旨在帮助企业提升对人工智能模型的透明度，消除数据中的神秘面纱。 在大型语言模型（LLM）或基础模型的推动下，生成式人工智能为企业带来诸多用途，但同时也引发新的风险...
-
研究人员教会GPT-4V使用iPhone并在亚马逊应用程序上购物
在当今智能手机技术不断发展的世界中，对能够导航和与移动应用程序复杂界面进行交互的人工智能的需求不断增加。MM-Navigator通过使用GPT-4V代理来满足这一需求，该代理结合了图像处理和文本推理，使其能够在iPhone上执行购物任务。本文将着重介绍MM...
-
【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca
昨天在github上看到一个在本地部署中文大模型的项目，和大家分享一下。先把地址po出来。 项目名称：中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs 项目地址：https://...
-
GitLab推出对话式AI工具Duo Chat 提升开发效率
在软件开发中，开发人员在处理复杂代码或高效管理项目问题时经常面临挑战。在工作流中找到正确的信息和协助可能是一项难题。为了解决这个问题，GitLab推出了一款名为Duo Chat的新工具，旨在通过将对话式AI整合到现有工作流中简化开发体验。 过去，开发人员已...
-
企业对生成式AI的投资低得惊人 在云支出中占比不到1%
2023年，生成式AI备受关注，被认为是能够在多个领域实现变革的突破性技术，甚至被寄予改变人类生活的希望。然而，Menlo Ventures报告显示，尽管生成式AI在2023年取得突破，但这主要是一场炒作。 报告指出，生成式AI在企业云支出中所占比例“相对...
-
2028年人类将迎来AGI：DeepMind联合创始人长文预测未来AI发展
10月26日，在X上有三万订阅的Dwarkesh Podcast（矮人播客）主持人Dwarkesh Patel采访了谷歌DeepMind的创始人兼首席AGI科学家Shane Legg。 他们讨论了AGI出现的时间节点、可能的AGI新架构、作为下一个行业标...
-
使用 LangChain 和 Pinecone 矢量数据库构建自定义问答应用程序
构建自定义聊天机器人，以使用 LangChain、OpenAI 和 PineconeDB 从任何数据源开发问答应用程序 介绍 大型语言模型的出现是我们这个时代最令人兴奋的技术发展之一。它为人工智能领域开辟了无限可能，为各行业的现实问题提供了解决方案。这些...