-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
AIGC文本生成
文本生成是一种人工智能技术，它基于深度学习算法，根据给定的提示信息创作出有逻辑、连贯的文本内容。 文本生成所需的输入（提示或Prompt）可以是简单的关键词、一句话概述或是更复杂的指令和上下文信息。文本生成模型通过分析大量现有数据，学习语言模式，广泛应用...
-
LongLLaMA 项目使用教程
LongLLaMA 项目使用教程 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and...
-
AIGC时代，仅用合成数据训练模型到底行不行？来一探究竟 | CVPR 2024
首个针对使用合成数据训练的模型在不同稳健性指标上进行详细分析的研究，展示了如SynCLIP和SynCLR等合成克隆模型，其性能在可接受的范围内接近于在真实图像上训练的对应模型。这一结论适用于所有稳健性指标，除了常见的图像损坏和OOD（域外分布）检测。另一方...
-
浅析 GitHub Copilot 工作原理帮你更高效使用
GitHub Copilot 是一个代码补全工具，它会分析你的代码并在你输入时提供行内建议。 它还提供一个聊天界面，帮助你询问代码库的问题、生成文档、重构代码等。你可以在这里阅读博客。 在这篇博客中，我们将深入探讨在你编写代码时发生了什么，试图了解其工...
-
使用AI赋能进行软件测试-文心一言
1.AI赋能的作用 提高速度和效率 缺陷预测与分析 2.AI互动指令格式--文心一言 角色、指示、上下文 例子、输入、输出 a 直接问AI 针对以下需求，设计测试用例。 需求： 1、账号密码登录系统验证账号和密码的正确性。 验...
-
Midjourney 学习 笔记
一、目前主要产品对比介绍 chatgpt 4.0 文心一言 <aside> ? 完全不可控的基于大模型产品 基于文本生成，只能通过上下文的文字描述不断调整，娱乐向 </aside> Midjourney <asid...
-
Ollama保姆级教程
Ollama保姆级教程 Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。 Ollama还提供了对模型量化...
-
百度文心一言 App 获推 4.0.0 版本升级：更名文小言、9 月内文心 4.0 大模型免费用！
百度文心一言 App 获推 4.0.0 版本升级：更名文小言、9 月内文心 4.0 大模型免费用！ 文小言4.0.0版本重磅发布：AI新时代的引领者！? 随着科技的飞速发展，AI已经深入到我们生活的方方面面。2024年9月，百度正式发布了文心一言A...
-
OpenAI o1惊现自我意识？陶哲轩实测大受震撼，门萨智商100夺模型榜首
【新智元导读】OpenAI o1，在门萨智商测试中果然取得了第一名。数学大神陶哲轩实测发现，o1竟然能成功识别出克莱姆定理。而OpenAI的研究副总裁也在此时跳出来表明:大型神经网络可能已经有了足够算力，表现出意识了。 OpenAI o1，在IQ测试中拿到...
-
stable diffusion的AnimateDiff动画插件
AnimateDiff简介 Stable Diffusion的AnimateDiff插件是一个用于生成和操作图像的强大工具，它属于Stable Diffusion模型的一个扩展。 1. 功能和用途 图像生成与修改: AnimateDiff插件能够...
-
快速上手文心一言指令指南
快速上手文心一言指令指南 文心一言是一款强大的对话式人工智能，可以通过各种指令进行交互。本文将详细介绍如何快速上手使用文心一言的指令。 目录 什么是文心一言 基本指令 高级指令 使用示例 注意事项 什么是文心一言 文心一言是一款由百度开发...
-
AIGC 对软件研发的根本性影响：AI编程意味着什么？
大家好，我是通义灵码的产品技术负责人陈鑫。过去有八年时间，我都是在阿里集团做研发效能，即研发工具相关的工作。 我们从 2015 年开始做一站式 DevOps 平台，然后打造了云效，也就是将 DevOps 平台实现云化。到了 2023 年，我们明显感觉到大...
-
探索和构建 LLaMA 3 架构：深入探究组件、编码和推理技术
Meta 正在加大在人工智能 (AI 竞赛中的力度，推出了新的开源 AI 模型 Llama 3 以及新版 Meta AI。这款虚拟助手由 Llama 3 提供支持，现已在所有 Meta 平台上可用。 以下是您需要了解的有关 Meta 最新大型语言模...
-
大模型+小模型协同处理跨文档理解任务，成本更低，性能更高
“Synergetic Event Understanding: A Collaborative Approach to Cross-Document Event Coreference Resolution with Large Language Mod...
-
OpenAI全新发布o1模型 - 我们正式迈入了下一个时代。
大半夜的，OpenAI抽象了整整快半年的新模型。 在没有任何预告下，正式登场。 正式版名称不叫草莓，草莓只是内部的一个代号。他们的正式名字，叫: 为什么取名叫o1，OpenAI是这么说的: For complex reasoning tasks thi...
-
【AIGC半月报】AIGC大模型启元：2024.08（下）
【AIGC半月报】AIGC大模型启元：2024.08（下）） (1 Nemotron-4-Minitron（Nvidia LLM） (2 VITA（腾讯优图多模态大模型） (3 mPLUG-Owl3（阿里巴巴多模态大模型） (4 ADA...
-
小心！AI能「看懂」你的唇语，悄悄话不再安全！
小心悄悄话被AI听见!（嘘） 最近国外一款可以读唇语的AI软件火了! 具体效果如下: 红毯上布莱克·莱弗利小声说:“好紧张”，笑着说话时肉眼很难分辨唇语，但AI可以。 乍一看只能看见一排白牙（bushi）的侃爷，唇语也能被轻松破解。 看完后网友们开始纷...
-
本地部署Llama 3.1大模型
Meta推出的Llama 3.1系列包括80亿、700亿、4050亿参数版本，上下文长度扩展至12.8万tokens，并增加了对八种语言的支持。 部署模型需要用到Ollama的一个工具，访问官方网站https://ollama.com 点击下载...
-
蚂蚁的AI故事，讲到哪儿了？
没有一家互联网大厂愿意错过AI这一风口。 在近期举办的2024Inclusion外滩大会上，蚂蚁集团一次性推出了三款AI产品，分别是「支小宝」、「蚂小财」、「AI健康管家」，对应衣食住行、理财、医疗三大领域。其中「支小宝」既可在支付宝内使用，也有独立APP...
-
llama.cpp本地部署大模型
llama.cpp 是一个C++库，用于简化LLM推理的设置，它使得在本地机器上运行大模型（GGUF格式）成为可能。 官网：https://github.com/ggerganov/llama.cpp 模型库： https://huggingface...
-
【愚公系列】《AIGC辅助软件开发》020-AI 辅助测试与调试：如何让AI更好地辅助我们工作
? 作者简介，愚公搬代码 ?《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，亚马逊技领云博主，51CTO博客专...
-
java重点学习-RabbitMQ+Kafka
六 RabbitMQ Kafka 6.1 RabbitMQ-如何保证消息不丢失 开启生产者确认机制，确保生产者的消息能到达队列 开启持久化功能，确保消息未消费前在队列中不会丢失 开启消费者确认...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
刚刚，苹果将ChatGPT集成在iPhone 16，一夜重塑手机！
苹果在今天凌晨1点举办的产品发布会上宣布，将最新开发的 “Apple Intelligence”集成在iPhone16、iPad 平板和Mac笔记本中，全面拥抱生成式AI。 其中，Siri已经集成了OpenAI的ChatGPT（GPT-4o）功能，使其理解...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
开源大模型再迎“历史性时刻”，Meta发布Llama 3.1
7月23日晚，Meta正式推出了最新的开源大模型系列Llama 3.1，进一步缩小了开源模型与闭源模型之间的差距。Llama 3.1系列包括8B、70B和405B三个参数规模，其中Llama 3.1-405B参数的模型在多个基准测试中超越了OpenAI的G...
-
DALL-E-3使用指南
OpenAI发布的DALL-E 3无疑是这一领域的佼佼者。本文将深入分析DALL-E 3的技术特点、应用场景及其对未来图像创作的影响。 一、DALL-E-3的技术特点 DALL-E 3是OpenAI在图像生成领域的最新成果，它基于深度学习技...
-
lit-llama代码解析
https://github.com/Lightning-AI/lit-llama/blob/main/README.md 下载的时候会报错误，因为网不行，一种方法就是多次尝试，另一种方法是终端连上代理下载 pycharm连接hugging fac...
-
node-llama-cpp 使用与安装指南
node-llama-cpp 使用与安装指南 node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON s...
-
笔记本本地部署100b以上千亿级别LLM，并在手机端接入
前言 本文将演示如何在笔记本上运行千亿级模型，后端 Koboldcpp 运行在 Ubuntu ，前端界面使用安卓手机通过 Termux 且使用 SillyTavern 进行连接，模型使用 104B 的 Command R Plus 的 Q4KM 量化，...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
RAG 的优化进阶与引入 Reranker
引言 在简单的 RAG 系统中，通过结合检索和生成技术，已经可以显著提升了对复杂查询的响应质量。Reranker 作为 RAG 系统中一个关键的进阶组件，通过对原 RAG 中检索到的内容进行重新组织，可以进一步提高系统的准确性。 本文将深入探讨 RA...
-
【LLM模型微调】LLMs-微调经验-LLaMA微调指南v7.0
【导读】：本文是LLM模型微调第七篇，分享Meta于20240807的开源三篇文章：Methods for adapting large language models，To fine-tune or not to fine-tune，How to fin...
-
大模型外挂知识库rag综述
一、LLMs 不足点 在 LLM 已经具备了较强能力的基础上，仍然存在以下问题： 幻觉问题：LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地产生“一本正经的胡说八道”的情况； 时效性问题：LLM 的规模越大...
-
llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客...
-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
如何在家用设备上运行 Llama 3.1 405B？搭建 AI 集群
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中，开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外，您无需依赖外部提供商或支付任何额外费用。但是，随着模型大小的增加，这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是，张...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
爆了，Llama 3.5 405B 爆超GPT-4o，参数直接飙到405B,开源终于战胜了闭源大模型GPT-4o
赶超 GPT-4o，最强大模型 Llama 3.1 405B 一夜封神，扎克伯格：开源引领新时代 就在刚刚，Meta 如期发布了 Llama 3.1 模型。 简单来说，最新发布的 Llama 3.1 405B 是 Meta 迄今为止最强大的模型，也...
-
MIT新研究揭秘「AI洗脑术」！AI聊天诱导人类「编造」记忆，真假难辨
【新智元导读】MIT研究发现:在AI的操纵下，人类会被植入虚假记忆!36.4%的参与者会被聊天机器人误导，形成「现场有枪」的错误记忆。有趣的是，AI的阿谀奉承，会产生「回音室效应」，让偏见更加强化。 GenAI的影响，已经不仅仅是搜索引擎、聊天机器人这么简...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
Llama 3.1 405B：4050亿参数史上最强开源大模型
01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B，拥有4050亿个参数，与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成，现已在云平台上可用，...
-
将 GitHub Copilot 与 JavaScript 结合使用
使用 GitHub Copilot（一个 AI 结对编程器，可在您编码时提供自动完成式建议）来处理 JavaScript 学习目标 学完本模块后，您将能够： 在 Visual Studio Code 中启用 GitHub Copi...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
一文看懂llama2(原理&模型&训练）
一文看懂Llama2（原理&模型&训练） 一、引言 Llama2是Meta（原Facebook AI）最新开源的大型语言模型，它基于Transformer架构进行了多项优化和改进，旨在提供更高效、更准确的自然语言处理能力。Llama2...
-
Mistral联合英伟达开源12B小模型：碾压Llama 3，单张4090可跑
小模型，成为本周的AI爆点。 与动辄上千亿参数的大模型相比，小模型的优势是显而易见的:它们不仅计算成本更低，训练和部署也更为便捷，可以满足计算资源受限、数据安全级别较高的各类场景。因此，在大笔投入大模型训练之余，像 OpenAI、谷歌等科技巨头也在积极训...