-
RAG实战 7 - 使用llama_index实现多模态RAG
LLM之RAG实战（七）| 使用llama_index实现多模态RAG 文章目录 LLM之RAG实战（七）| 使用llama_index实现多模态RAG 一、多模态RAG 二、多模态LLM 三、多模态嵌入 四、多模态索引与检索 五、多...
-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。 从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一...
-
华盛顿大学推高效大模型调优方法“代理调优”
华盛顿大学推出更高效的大模型调优方法“代理调优”，该方法通过对比小型调整模型和未调整模型的预测结果来引导基础模型的预测，实现对模型的调优而无需接触模型的内部权重。 随着ChatGPT等生成式AI产品的发展，基础模型的参数不断增加，因此进行权重调优需要耗费大...
-
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。本文，我们将深入研究使用...
-
DeepSeek 发布全新开源大模型，数学推理能力超越 LLaMA-2
自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。 开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域...
-
Chinese-llama-2部署踩坑记录
Chinese-llama-2部署踩坑记录 1. Chinese-LLaMA-Alpaca-2 A. 部署 a. inference_with_transformers_zh b. text generation webui_zh c. a...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜3＞
3.4 RLHF 结果 3.4.1 基于模型的评估 评估LLMs是一个具有挑战性的开放研究问题。人类评估虽然是黄金标准，但可能会因各种 HCI 考虑因素而变得复杂（Clark 等人，2021；Gehrmann 等人，2023），并且并不总是可扩展的...
-
2024 年值得关注的 6 大生成式 AI 趋势
2023年是人工智能领域长期以来最具颠覆性的一年，大量生成式人工智能产品进入主流。继续其变革之旅，生成式人工智能有望在2024年从兴奋的话题转变为现实世界的应用。 随着科技公司不断开发和微调人工智能模型，生成式人工智能领域正在迅速发展，催生了一系列广泛的趋...
-
剧透GPT-5，物色芯片厂，2024年的Sam Altman已经火力全开，只因不敢停下来
尽管如今的AI圈花样层出、新闻满天，但OpenAI的新动向仍然一直是人们最关注的话题之一。 最近， OpenAI首席执行官 Sam Altman就在参加达沃斯论坛时高调表示，公司目前的首要任务就是推出下一代大型语言模型，可能被称为GPT-5。 他还剧透了一...
-
2024年人工智能领域十大预测
2023年人工智能领域如果只能筛选一个关键词的话，恐怕非“大模型”莫属。大模型的发展在过去一年中，让各行各业发生了天翻地覆的变化，有企业因大模型而新生，有企业因大模型而消亡。企业的变迁跟技术迭代息息相关，而大模型就是新一代人工智能技术下的产物，大模型已经...
-
甲骨文的 OCI 生成式 AI 服务现已推出
Oracle 宣布了 Oracle Cloud Infrastructure（OCI）Generative AI 服务的普遍可用性，以及使企业更轻松地利用生成 AI 的最新进展的新创新。 OCI Generative AI 服务是一项完全托管的服务，无缝集...
-
基于LLaMA-Factory用deepspeed多GPU训练大模型报错Caught signal 7 (Bus error: nonexistent physical address)
基于LLaMA-Factory，用4个V100的GPU，如下命令训练ChatGLM3： deepspeed --num_gpus 4 --master_port=9901 src/train_bash.py \ --deepspeed ds_co...
-
一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models
一个开源的大型语言模型LLaMA论文解读，LLaMA: Open and Efficient Foundation Language Models 返回论文和资料目录 1.导读 LLaMA 是 Meta AI 发布的包含 7...
-
Code Llama: Open Foundation Models for Code
本文是LLM系列文章，针对《Code Llama: Open Foundation Models for Code》的翻译。 Code Llama：代码的开放基础模型 摘要 1 引言 2 Code Llama：专业化Llama2用于代码 3...
-
Mistral 7B 比Llama 2更好的开源大模型 （三）
Mistral 7B 比Llama 2更好的开源大模型 Mistral 7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral 7B在所有评估的基准测试中都优于最好的开放13B模型（Llama 2），在推理、数学和代码生成方面也优于最好的...
-
AIGC（生成式AI）试用 17 -- 续2，生成式AI是什么
还是培训资料中的内容，重读一遍。 列举内容，尝试理解的多那么一点点。 1. 生成式AI 生成式AI定义 - Generative AI, GenAI - 一种人工智能技术 - 对已经数据分类、预测 - 生成新的内容，包括文本、图像、音...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
一周 AIGC 丨苹果下架多款 AIGC 应用，阿里云开源通义千问 70 亿参数模型
多个 AIGC 应用在苹果应用商店下架，包含数据采集和使用不够规范等问题。阿里云开源通义千问 70 亿参数模型，包括通用模型 Qwen-7 B 和对话模型 Qwen-7 B-Chat。腾讯混元大模型开始应用内测，内部多个业务线接入测试。百度智能...
-
2024年，开源AI潜力更大？
开源（OS）正在驱动生成式 AI 的创新。得益于像 GitHub 和 Hugging Face 等学术研究平台，我们得以见证 AI 技术的蓬勃发展。但值得注意的是，OpenAI、Anthropic 等越来越多的科技公司选择不公开模型的代码和权重。 指责大...
-
针对特定领域较小的语言模型是否与较大的模型同样有效?
经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs f...
-
大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、llama-2-7b-chat（...
-
奥特曼筹数十亿美元建全球晶圆厂网络，自造AI芯片
据彭博社消息，OpenAI CEO 萨姆・奥特曼（Sam Altman）近日再次为一家人工智能芯片企业筹集了数十亿美元的资金，希望建立一个范围覆盖全球的晶圆厂「企业网络(network of factories 」，并计划与未具名的顶级芯片制造商合作。 报...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
一文读懂Llama 2（从原理到实战）
文章目录 简介 实战：微调Llama 2 在线体验 参考 简介 Llama 2，是Meta AI正式发布的最新一代开源大模型。 Llama 2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Lla...
-
Video-LLaMA 论文精读
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding video-LLaMA 一种用于视频理解的指令调整视听语言模型 引言 ...
-
一文了解AIGC与ChatGPT
关注微信公众号掌握更多技术动态 --------------------------------------------------------------- 一、AIGC简介 1.AIGC基础 (1 AIGC是什么 AIGC是人...
-
英伟达新对话QA模型准确度超GPT-4，却遭吐槽：无权重代码意义不大
昨天，Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，从而在 Llama 2 70B 的迭代微调后超越了 GPT-4。今天，英伟达的全新对话 QA 模型「ChatQA-70B」在不使用任何 GPT 模型数据的情况下，在 10...
-
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
原文：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md 👋 加入我们的微信群。 [ English | 中文 ] LLaMA Board: 通过一站式网页界面快速上手...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
2024-01-04 用llama.cpp部署本地llama2-7b大模型
点击 <C 语言编程核心突破> 快速C语言入门 用llama.cpp部署本地llama2-7b大模型 前言 一、下载`llama.cpp`以及`llama2-7B`模型文件 二、具体调用 总结 前言 要解...
-
快速上手！LLaMa-Factory最新微调实践，轻松实现专属大模型
1.为什么要对Yuan2.0做微调？ Yuan2.0（https://huggingface.co/IEITYuan）是浪潮信息发布的新一代基础语言大模型，该模型拥有优异的数学、代码能力。自发布以来，Yuan2.0已经受到了业界广泛的关注。当前Yua...
-
LLaMA模型泄露 Meta成最大受益者
一份被意外泄露的谷歌内部文件，将Meta的LLaMA大模型“非故意开源”事件再次推到大众面前。“泄密文件”的作者据悉是谷歌内部的一位研究员，他大胆指出，开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河，而最大的受益者是Meta，因为该公司...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
用通俗易懂的方式讲解大模型：一个强大的 LLM 微调工具 LLaMA Factory
LLM（大语言模型）微调一直都是老大难问题，不仅因为微调需要大量的计算资源，而且微调的方法也很多，要去尝试每种方法的效果，需要安装大量的第三方库和依赖，甚至要接入一些框架，可能在还没开始微调就已经因为环境配置而放弃了。 今天我们来介绍一个可以帮助大家快速...
-
奥特曼，10亿美元砸向AI芯片
Sam Altman（奥特曼），造芯依旧! 据彭博社消息，奥特曼再次为一家人工智能芯片企业筹集数十亿美元。 目的是利用这笔资金开发一个“工厂网络”（network of factories），用于制造，该网络将延伸到全球，并涉及与未透露名字的“顶级芯片制...
-
AI游戏设计的半年度复盘；大模型+智能音箱再起波澜；昇思大模型技术公开课第2期；出海注册经验分享；如何使用LoRA微调Llama 2 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 进步or毁灭：Nature 调研显示 1600+ 科学家对AI的割裂态度 国际顶级期刊 Nature 最近一项调研很有意思，全球 1600 多名科...
-
AI视野：百度推视频生成模型UniVG；下一代大模型Llama3正在训练；腾讯推视频模型VideoCrafter2；TikTok测试AI作曲功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 🤖📱💼AI应用 1、百度推出视频生...
-
llama.cpp模型推理之界面篇
目录 前言 一、llama.cpp 目录结构 二、llama.cpp 之 server 学习 1. 介绍 2. 编译部署 3. 启动服务 4、扩展或构建其他的 Web 前端 5、其他 前言 在《基于llama.cpp学习开源LL...
-
小扎All in 开源AGI：正训练Llama 3，年底将有35万块H100
小扎宣布新目标：All in 开源AGI。 不错，小扎又All in了，正是OpenAI谷歌必争之地。 不过在AGI之前，着重强调了是Open Sourse（开源）的。 图片 此举受到不少好评，一如此前LIama系列大模型开源之时。 图片 图片 不过此次...
-
小扎砸数百亿美元猛攻开源AGI！狂掷60万块H100，爆50倍GPT-4算力
【新智元导读】今天，小扎正式宣战「开源AGI」!下一代大模型Llama3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。 自Llama2、Code Llama...
-
吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。 现在，开源社区的研究者们面向 LLM 提出了一种结构化生成语言（...
-
最佳开源模型刷新多项SOTA，首次超越Mixtral Instruct！「开源版GPT-4」家族迎来大爆发
Mixtral 8x7B开源模型的诞生，正如Llama一样，为开源社区了带来曙光。 前段时间，Mixtral刚刚发布了8x7B模型的论文。在基准测试结果中，其性能达到或超过 Llama 2-70B和GPT-3.5。 甚至，Mixtral在数学、代码生成和...
-
GPU库存将到60万个！扎克伯格确认新目标：创建通用人工智能
1月19日消息，在科技领域，一股热潮正席卷而来，它源于一种坚定的信念，即科技行业正迈向实现超人、神级智能的道路上。引领这股潮流的旗手包括OpenAI，他们宣称要创造出这种通用人工智能（AGI）。而谷歌人工智能项目负责人杰米斯·哈萨比斯（Demis Ha...
-
免费商用 Meta 发布开源大语言模型 Llama 2
Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介...
-
LLaMA在Windows环境下的安装部署教程
LLaMA的安装过程其实非常简单，只需要几条CMD命令行即可完成。其实个人感觉效果不如ChatGPT，而且对硬件要求较高，本站并不推荐个人部署。 介绍 关于什么是LLaMa，详细情况可以看下面这篇文章。 Git安装 该软件的作用是拉取远程Git...
-
国产开源模型标杆大升级，重点能力比肩ChatGPT！书生·浦语2.0发布，支持免费商用
1月17日，新一代大语言模型书⽣·浦语2.0（InternLM2）正式发布并开源。 2种参数规格、3种模型版本，共计6个模型，全部免费可商用。 它支持200K超长上下文，可轻松读200页财报。200K文本全文范围关键信息召回准确率达95.62%。 不...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
亚马逊APP测试新AI功能，不仅能解答产品问题还能逗你笑
亚马逊正在其适用于 iOS 和 Android 的移动应用程序中测试一项新的 AI 功能，让客户可以询问有关产品的具体问题。人工智能工具可以帮助准确计算出新货架有多大，确定电池可以使用多长时间，甚至......给你写一首关于雪地靴的圣诞颂歌。 新功能旨在用...
-
[算法前沿]--005-和chatgpt一样的大模型LLaMA可以运行在pc上？
未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行. LLaMA Facebook的LLaMA 模型和Georgi Gerganov 的llama.cpp的结合。 LLaMA，这是一组包含 7B 到 65B 参数的基础语言模型。我们在数万亿个令...