-
Koala：加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来，围绕它开发的模型与日俱增，比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等，相关的博客可以参考如下： 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时...
-
首个开源MoE大模型发布！7Bx8个专家，离GPT-4最近的一集
“取消今晚所有计划！”，许多AI开发者决定不睡了。 只因首个开源MoE大模型刚刚由Mistral AI发布。 MoE架构全称专家混合（Mixture-of-Experts），也就是传闻中GPT-4采用的方案，可以说这是开源大模型离GPT-4最近的一集...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
专用于手机、笔记本，Stability.ai开源ChatGPT基因的大模型
12月8日，著名开源生成式AI平台stability.ai在官网开源了，30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备，主打参数小、性能强、算力消耗低的特点，可自动生成文本、总结摘要等，可与70亿、...
-
Code Llama 简介：编码未来的综合指南
在不断发展的技术领域，Meta 推出的 Code Llama 标志着一次重大飞跃。这种最先进的大型语言模型 (LLM 不仅仅是开发人员武器库中的另一个工具；它也是开发人员的工具之一。它改变了游戏规则。让我们深入了解 Code Llama 提供的功能、它...
-
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了
已上微软 Azure，即将要上 AWS、Hugging Face。 一夜之间，大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。 今日，Meta 终于发布了大家期待...
-
LLM各层参数详细分析（以LLaMA为例）
网上大多分析LLM参数的文章都比较粗粒度，对于LLM的精确部署不太友好，在这里记录一下分析LLM参数的过程。 首先看QKV。先上transformer原文 也就是说，当h（heads） = 1时，在默认情况下，...
-
Nexusflow发布开源生成式AI模型NexusRaven-V2 处理软件工具方面超越 GPT-4
在针对网络安全领域的生成AI领导者Nexusflow宣布推出NexusRaven-V2后，该公司日前发布了一个13亿参数的开源生成AI模型，该模型在处理软件工具方面超越了OpenAI GPT-4。 NexusRaven-V2拥有强大的功能调用能力，能够理...
-
集体暴雷！自动化攻击可一分钟内越狱主流大语言模型
大语言模型应用面临的两大安全威胁是训练数据泄漏和模型滥用（被应用于网络犯罪、信息操弄、制作危险品等违法活动）。 本周内，这两大安全威胁相继“暴雷”。 本周一，GoUpSec曾报道研究人员成功利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭...
-
RAG+GPT-4 Turbo让模型性能飙升！更长上下文不是终局，「大海捞针」实验成本仅4%
RAG+GPT-4，4%的成本，便可拥有卓越的性能。 这是最新的「大海捞针」实验得出的结论。 在产品中使用LLM的下一阶段，重点是让它们生成的响应/回复更加「超前高速化」(hyper-specific 。 也就是LLM需要按照不同的使用情况，针对数据集...
-
在 Mac M1 上运行 Llama 2 并进行训练
在 Mac M1 上运行 Llama 2 并进行训练 Llama 2 是由领先的人工智能研究公司 Meta （前Facebook）开发并发布的下一代大型语言模型 (LLM 。 它基于 2 万亿个公共数据 token 进行了预训练，旨在帮助开发人员和...
-
本地训练中文LLaMA模型实战教程，民间羊驼模型，24G显存盘它！
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型（本博客）博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 在学习完上篇【1本地部署中文LLaMA模型...
-
自动驾驶大模型论文调研与简述
最近关于大模型(LLMs, VLM 与自动驾驶相关文献调研与汇总： 适合用于什么任务？答：目前基本上场景理解、轨迹预测、行为决策、运动规划、端到端控制都有在做。 大家都怎么做的？ 对于规控任务，LLM型基本是调用+Prompt设计，集中在输入和输出设计...
-
Stability AI发布30亿参数语言模型StableLM Zephyr 3B 更小更快更节省资源
Stability AI以其stable diffusion文本到图像的生成人工智能模型而闻名，但这已不再是该公司的全部业务。 最新发布的StableLM Zephyr3B是一款30亿参数的大语言模型，专为聊天应用场景进行了优化，包括文本生成、摘要和内容个...
-
Pimento 利用生成式AI将创意简报转化为视觉情绪板
Pimento 是一家新的法国初创公司，利用生成式人工智能（AI）以一种有趣的方式进行创意过程的第一步，包括构思、头脑风暴和制作情绪板(mood boards 。最近，该公司从一系列有趣的投资者那里筹集了320万美元(300万欧元 的资金。 Piment...
-
Danswer 接入 Llama 2 模型 ｜ 免费在 Google Colab 上托管 Llama 2 API
一、前言 前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswe...
-
开源大模型LLaMA 2会扮演类似Android的角色么？
在AI大模型没有商业模式？等文章中，我多次表达过这样一个观点：不要把大模型的未来应用方式比喻成公有云，大模型最终会是云端操作系统的核心（新通用计算平台），而它的落地形式会很像过去的沃森，以系统型超级应用的形态落地。假如真的这样，那无疑的就需要一个开源的、便...
-
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。 这篇论文的研...
-
什么是 Gemini？关于谷歌新AI模型你应该知道的一切
什么是 Gemini? Google Gemini是谷歌最新发布的强大人工智能模型，不仅可以理解文本，还能处理图像、视频和音频。作为一种多模态模型，Gemini被描述为能够在数学、物理等领域完成复杂任务，同时能够理解并生成各种编程语言中的高质量代码。 Ge...
-
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型（MLLMs）领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在明显的空白。为填补这一空白，腾讯人工智能实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型...
-
锐龙8040官宣！AMD首创的AI PC性能飙升60％ 明年再涨3倍
AMD 2023年初发布的锐龙7040系列处理器，不但为笔记本带来了迄今最先进的4nm制造工艺、Zen4 CPU架构、RDNA3 GPU架构，还第一次为x86处理器加入了独立的NPU AI引擎硬件单元。 这就是Ryzen AI，也创造了AI P...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
Meta语音达LLaMA级里程碑！开源MMS模型可识别1100+语言
【新智元导读】Meta的大规模多语言语音 （MMS） 项目将彻底改变语音技术，使用wav2vec 2.0的自监督学习，MMS将语音技术扩展到1100到4000种语言。 在语音方面，Meta又达到了另一个LLaMA级的里程碑。 今天，Me...
-
大模型LLaMA和微调LLaMA
1.LLaMA LLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4T tokens，和GPT一样都是基于Transformer这个架构。 1.1对transformer子层的输入归一化 与Transf...
-
大模型免微调解锁对话能力，RLHF没必要了！一作上交大校友：节省大量成本和时间
要搞大模型AI助手，像ChatGPT一样对齐微调已经是行业标准做法，通常分为SFT+RLHF两步走。 来自艾伦研究所的新研究却发现，这两步都不是必要的？？？ 新论文指出，预训练完成刚出炉的基础模型已经掌握了遵循指令的能力，只需要提示工程就能引导出来，引起...
-
Github Copilot Chat的规则泄露，详细分析这31条规则
GitHub Copilot 是一款由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它是一种基于机器学习的代码自动完成工具，旨在帮助开发人员更高效地编写代码。 GitHub Copilot Chat是GitHub Copilot的一部分，...
-
Meta 的LLaMA是 GPT的竞争对手，如何在 M1 Mac 上使用 LLaMA
目录 第 1 步：下载模型 第 2 步：安装依赖 第 3 步：编译 LLaMA CPP 第 4 步：转换模型 Step5：运行模型 语言模型大战 随着人们对人工智能及其在日常生活中的应用越来越感兴趣，Meta 的 LLaMA、OpenAI 的 G...
-
七月论文审稿GPT第2版：从Meta Nougat、GPT4审稿到Mistral、LongLora Llama
前言 如此前这篇文章《学术论文GPT的源码解读与微调：从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉...
-
LLaMA 2：开源的预训练和微调语言模型推理引擎 | 开源日报 No.86
facebookresearch/llama Stars: 36.0k License: NOASSERTION LLaMA 2 是一个开源项目，用于加载 LLaMA 模型并进行推理。 该项目的主要功能是提供预训练和微调后的 LLaMA 语言模型...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
性能直追GPT-4，5000个H100训成！DeepMind联创发全新一代大模型
最近，InflectionAI发布了全新的一款AI模型。 更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。 到底是什么样的表现让InflectionAI能夸下如此海口呢？ 在介绍...
-
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAM...
-
Mozilla 让人们将 AI LLM 变成单文件可执行文件，简化大型语言模型的分发和运行
供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。 Mozilla 的创新团队最近发布了...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
澳大利亚政府成立AI版权参考小组，应对人工智能与版权挑战
澳大利亚政府于周二宣布成立一个专注于版权与人工智能问题的参考小组，以解决随着生成式AI技术迅速增长而出现的最大问题之一。 澳大利亚总检察长马克·德雷弗斯于周二宣布了这一参考小组的成立，该小组将协助联邦政府更好地应对由人工智能的增加使用所带来的未来版权挑战。...
-
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互
LLMs之LLaMA-2：源码解读(tokenizer.py文件 基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互转换，以便与深度学习模型进行交互 目录...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
Llama 2 云端部署与API调用【AWS SageMaker】
Meta 刚刚发布了 Llama 2 大模型。如果你和我们一样，你一定会迫不及待地想要亲自动手并用它来构建。 推荐：用 NSDT设计器 快速搭建可编程3D场景。 使用任何类型的 LLM 进行构建的第一步是将其托管在某处并通过 API 使用...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
灵雀云Alauda MLOps 现已支持 Meta LLaMA 2 全系列模型
在人工智能和机器学习领域，语言模型的发展一直是企业关注的焦点。然而，由于硬件成本和资源需求的挑战，许多企业在应用大模型时仍然面临着一定的困难。为了帮助企业更好地应对上述挑战，灵雀云于近日宣布，企业可通过Alauda MLOps（以下简称AML）使用由 Me...
-
R-CNN作者Ross Girshick离职，何恺明、谢赛宁回归学界，Meta CV走出了多少大神
FAIR 又一位大佬级研究科学家「出走了」，这次是 R-CNN 作者 Ross Girshick。 近日，Meta 首席科学家 Yann LeCun 发推宣布，Ross Girshick 将离开 FAIR，加入艾伦人工智能研究所（AI2）。此前离职的还...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
在本地使用CPU运行Llama 2模型来实现文档Q&A
第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用更加容易。然而，由于数据隐私和合规等各种原因，我们可能仍需要在企业内部部署或私有模型推理。 开源LLM的普及让我们私有化部署大语言模型称为可能，从而减少了...
-
Meta的AI主管认为AI的超级智能不会很快到来，并对量子计算持怀疑态度
Meta的首席科学家兼深度学习先驱Yann LeCun表示，他认为目前的AI系统距离达到某种层面上的感知还需要几十年的时间，这些系统配备了常识，可以推动它们的能力不仅仅是以创造性的方式总结堆积如山的文本。 他的观点与NVIDIA的首席执行官黄仁勋的...
-
LlamaGPT -基于Llama 2的自托管类chatgpt聊天机器人
LlamaGPT一个自托管、离线、类似 ChatGPT 的聊天机器人，由 Llama 2 提供支持。100% 私密，不会有任何数据离开你的设备。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 1、如何安装LlamaGPT Llam...
-
文字序顺不响影GPT-4阅读理解，别的大模型都不行
研表究明，汉字序顺并不定一影阅响读（对于英文来说，则是每一个单词中的字母顺序）。 现在，日本东京大学的一项实验发现，这个“定理”居然也适合GPT-4。 比如面对这样一段“鬼画符”，几乎里面每一个单词的每一个字母都被打乱： oJn amRh wno het...
-
国产开源大模型，起风了
科技的浪潮几十年一个轮回，不同的剧本却总是响起相似的鼓点。 如果说，一年前ChatGPT的惊艳现身，是属于大模型时代的「iPhone时刻」;那么，7月间Meta将Llama2开源，则被认为是拉开了大模型时代的IOS与安卓之争。 但区别于移动互联网时代，大模...
-
开源大模型框架llama.cpp使用C++ api开发入门
llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。 以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文...
-
Meta首席科学家杨立昆驳黄仁勋：超级智能不会很快到来
12月4日消息，英伟达首席执行官黄仁勋不久前宣称，超级人工智能（AI）将在五年内赶超人类。对此，Facebook母公司Meta首席科学家、深度学习先驱杨立昆（Yann LeCun）的观点截然相反。他认为，超级智能不会很快到来。 Meta最近在旧金山举行...