-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
每日AIGC最新进展(57)：小红书提出视频理解模型VideoLLM-MoD、香港大学提出脉冲神经扩散模型、香港大学提出使用反球面插值改进基于扩散模型的数据增强方法
Diffusion Models专栏文章汇总：入门与实战 VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation 随着...
-
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
LLaMA-Factory 基础篇 LLaMA-Factory简介 LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mist...
-
AI 音频/文本对话机器人：Whisper+Edge TTS+OpenAI API构建语音与文本交互系统（简易版）
文章目录 前言 思路： 环境配置 代码 1. 加载Whisper模型 2. 使用Whisper语音转文本 3. 使用OpenAI API生成文本进行智能问答 4. 实现文本转语音功能 5. 合并音频文件 6. 构建Gradio界面 注意 总...
-
OpenAI神秘模型「草莓」两周内上线？数学推理暴涨，月收费200刀已有人付费
就在刚刚，The Information曝出:OpenAI的草莓将于两周内上线!收费疑似200刀一个月，最大的特色就是比其他模型多思考10到20秒。然而因为「狼来了」太多回，网友们忍不住吐槽:OpenAI现在就是个炒作公司。 最新消息，「草莓」将在两周内发...
-
BitNet B1.58——模型参数用三个值表示，精度优于 Llama
介绍 论文地址：https://github.com/microsoft/bitblas 源码地址：https://github.com/microsoft/bitblas 与大型语言模型（LLMs）相比，小型语言模型（SLMs）正逐渐成为人们关注的焦...
-
打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析
面对训练好的通用的大语言模型，例如Llama3-8B，虽然在认知理解，知识问答，逻辑推理，数学，代码方面都表现很好。但是其在特定领域的知识是比较缺乏的，而且对中文问答表现也不是很好，经常出现中英文混答的问题。 所以打造一个属于自己的大模型，非常有必要！...
-
【国产异构加速卡】基于llama.cpp实现Llama3模型的guff格式转换、4bit量化以及推理加速
重要说明：本文从网上资料整理而来，仅记录博主学习相关知识点的过程，侵删。 序言 本文使用llama.cpp框架，对 Llama3-8B-Instruct 模型进行gguf格式转换，8bit量化，并在CPU和GPU上对8bit模型进行推理。 测试平台...
-
新一代模型微调方案LLama-Pro ，快来围观！！！
❝ 大家好，我是 Bob! ? 一个想和大家慢慢变富的 AI 程序员? 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！? Y LLAMA PRO论文笔记 直达链接： 摘要 这篇论文介绍了一种名为L...
-
现在的大模型榜单，真就没一个可信的。
现在的大模型榜单上，真的都是水分。 全是作弊的考生，真的。 上周，AI圈有个很炸裂的大模型发布，在全网引起了山呼海啸，一众从业者和媒体尊称它为开源新王。 就是Reflection70B。 在每项基准测试上都超过了 GPT-4o，还只用70B的参数，就击败...
-
突发！Runway的Gen-3向所有人开放，媲美Sora！
7月2日凌晨，著名生成式AI平台Runway在官网宣布，其文生视频模型Gen-3 Alpha向所有用户开放使用。 上周日Runway只向部分用户提供了Gen-3的使用权限，「AIGC开放社区」也为大家解读了10个非常有代表性的视频案例。（点击查看） 没...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
书单 | 大模型的书那么多，如何快速选到适合自己的那一本？来，教你！
大模型的书这么多，该怎么选呢？ 本期书单就来教大家怎么快速地从众多大模型书中选到你想要的那一本！ 大模型基础 大模型入门不可错过的一本书，就是这本大模型界的经典畅销书**《大规模语言模型》**！系统性强，内容适合初学者，如果你想知道如何构建一个大模型...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
家用设备轻松搭建 AI 集群，畅跑 Llama 3.1 405B
作者：老余捞鱼 原创不易，转载请标明出处及原作者。 写在前面的话： 本文主要介绍如何在家用设备上运行大型开源语言模型Llama 3.1 405B，首先我会解释构建人工智能集群来提高运行效率的原理，随后会演示如何通过Dist...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
解决llama_index中使用Ollama出现timed out 问题
现象： File "~/anaconda3/envs/leo_py38/lib/python3.8/site-packages/httpx/_transports/default.py", line 86, in map_httpcore_excep...
-
新AI编程工具爆火：手机2分钟创建一个APP
继Cursor之后，编程界又一新贵走红。 它就是由AI初创公司Replit推出的智能体——Replit Agent。 有了它，现在编程这事儿的“打开方式”就变这样了: 而且操作方式也是极其简单，只需一个提出Prompt的动作即可: 不难看出，Repli...
-
lit-llama代码解析
https://github.com/Lightning-AI/lit-llama/blob/main/README.md 下载的时候会报错误，因为网不行，一种方法就是多次尝试，另一种方法是终端连上代理下载 pycharm连接hugging fac...
-
【英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强】
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 最近，英伟达研究表明，结构化权重剪枝与知识蒸馏相结...
-
美团 AIGC产品经理面经（已拿 offer）
背景：211本科毕业，毕业之后在北京一家中型电商公司做了3年商家后台产品经理，目前通过老薛的朋友关系拿到了美团的offer。 目前还有几家在面试流程中，继续加油? 美团AIGC产品面经-业务面 ?1、自我介绍（每次面试必问）。 ?2、在做XX智...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
RAG 的优化进阶与引入 Reranker
引言 在简单的 RAG 系统中，通过结合检索和生成技术，已经可以显著提升了对复杂查询的响应质量。Reranker 作为 RAG 系统中一个关键的进阶组件，通过对原 RAG 中检索到的内容进行重新组织，可以进一步提高系统的准确性。 本文将深入探讨 RA...
-
【LLM模型微调】LLMs-微调经验-LLaMA微调指南v7.0
【导读】：本文是LLM模型微调第七篇，分享Meta于20240807的开源三篇文章：Methods for adapting large language models，To fine-tune or not to fine-tune，How to fin...
-
Llama-factory的yaml配置参数--学习记录
最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。 # 可选参数 # 模型和适配器相关 --adapter_name_or_path # 描述: 适配器的名称或路径。 --adapter_folder...
-
第三十五篇-各大模型测评地址和说明集合
1.Open LLM Leaderboard - 开放式LLM排行榜 测评地址：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard 说明：使用Eleuther...
-
大模型外挂知识库rag综述
一、LLMs 不足点 在 LLM 已经具备了较强能力的基础上，仍然存在以下问题： 幻觉问题：LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地产生“一本正经的胡说八道”的情况； 时效性问题：LLM 的规模越大...
-
Intel首批通过AISBench大模型性能测试！5代至强可达每秒2493 token
快科技9月5日消息，近日，第五代英特尔至强处理器，以优秀的表现通过了中国电子技术标准化研究院组织的人工智能服务器系统性能测试（AISBench）。 借此，英特尔也成为首批通过AISBench大语言模型（LLM）推理性能测试的企业。 在AISBench 2....
-
107 深入解析Llama Index的响应合成器 llamaindex.core.response_synthesizers.facotry.py
深入解析Llama Index的响应合成器 在自然语言处理（NLP）领域，Llama Index 是一个强大的工具，用于构建和处理复杂的语言模型。本文将深入探讨 Llama Index 中的一个关键组件——响应合成器（Response Synthesi...
-
【06】LLaMA-Factory微调大模型——微调模型评估
上文【05】LLaMA-Factory微调大模型——初尝微调模型，对LLama-3与Qwen-2进行了指令微调，本文则介绍如何对微调后的模型进行评估分析。 一、部署微调后的LLama-3模型 激活虚拟环境，打开LLaMA-Factory的webui页面...
-
超级Prompt：几行乱码让大模型获得科学思维，这个神奇的提示词突然火了
起猛了?不过两三天的时间，仅有两个 Markdown 文件的 GitHub 项目为何竟能收获2k star? 仔细一看，其中一个 Markdown 文件是一个流程图，另一个 Readme 文件的主要内容则是一大篇大模型提示词（prompt。而如果你细读这...
-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
如何在家用设备上运行 Llama 3.1 405B？搭建 AI 集群
在开放式 LLM 模型和封闭式 LLM 模型之间的竞争中，开放式模型的最大优势是您可以在本地运行它们。除了电力和硬件成本外，您无需依赖外部提供商或支付任何额外费用。但是，随着模型大小的增加，这种优势开始减弱。运行需要大量内存的大型模型并不容易。幸运的是，张...
-
震撼发布！阿里通义FunAudioLLM：重塑自然语音交互新纪元，开源引领语音处理革命！
近年来，人工智能的进步如 GPT-4o 和 Gemini-1.5极大地改变了人与机器的互动方式，2023这种转变在语音处理领域尤为明显。 阿里巴巴通义实验室近日发布并开源了 FunAudioLLM，这是一个旨在增强人与大型语言模型（LLMs）之间...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
基于大模型的原神对话系统尝试
一.简介 该项目为一次大模型+游戏的尝试，成功实现了一个与原神内角色的对话系统。 演示视频：https://www.bilibili.com/video/BV1b48CeuELL github地址：https://github.com/goodlu...
-
【实战】Llama3.1-部署与使用
大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。 百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀...
-
LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言 日常没空，留着以后写 llama-index简介 官网：https://docs.llamaindex.ai/en/stable/ 简介也没空，以后再写 注：先说明，随着官方的变动，代码也可能变动，大家运行不起来，可以进官网查查资料...
-
MIT新研究揭秘「AI洗脑术」！AI聊天诱导人类「编造」记忆，真假难辨
【新智元导读】MIT研究发现:在AI的操纵下，人类会被植入虚假记忆!36.4%的参与者会被聊天机器人误导，形成「现场有枪」的错误记忆。有趣的是，AI的阿谀奉承，会产生「回音室效应」，让偏见更加强化。 GenAI的影响，已经不仅仅是搜索引擎、聊天机器人这么简...
-
RAG 入门指南：从零开始构建一个 RAG 系统
本文正文字数约 3300 字，阅读时间 10 分钟。 从零开始构建一个应用可以让我们快速理解应用的各个部分。 这个方法其实非常适用于 RAG。 我在以前的文章中有介绍过 RAG 的概念、原理以及应用等，但其实，亲自动手来构建一个 RAG 系统或许能够...
-
Llama 3.1 405B：4050亿参数史上最强开源大模型
01 。 概述 Meta公司推出了其最大的开源人工智能模型——Llama 3.1 405B，拥有4050亿个参数，与GPT-4o和Claude 3.5 Sonnet相媲美。该模型在16000个Nvidia H100 GPU上训练而成，现已在云平台上可用，...
-
探索LLaMA Factory：一站式大模型微调平台
探索LLaMA Factory：一站式大模型微调平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_mir...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
使用Llama 私有化模型检索文档回答问题
部署 Llama 模型 Llama 属于文字生成模型，可以用于聊天。使用 Ollama 部署 Llama 模型，先安装 Ollama sudo curl -L https://ollama.com/download/ollama-linux-amd64...
-
Llama-X 开源项目指南
Llama-X 开源项目指南 Llama-XOpen Academic Research on Improving LLaMA to SOTA LLM项目地址:https://gitcode.com/gh_mirrors/ll/Llama-X 项目...
-
使用 ORPO 微调 Llama 3
原文地址：https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技...
-
《史上最简单的SpringAI+Llama3.x教程》-05-打破界限，Function Calling在业务场景中的应用
什么是Function Calling Function Calling 是一种技术，它允许大型语言模型（如GPT）在生成文本的过程中调用外部函数或服务。 这种功能的核心在于，模型本身不直接执行函数，而是生成包含函数名称和执行函数所需参数的JSON，...
-
Coze工作流之使用Stable Diffusion插件实现儿童故事绘本
不清楚coze使用的可以参考这篇文章coze全方位剖析 也推荐这个免费AI知识库给大家 ?AI洞察者中心｜知识库 - 飞书云文档 (feishu.cn 话不...
-
使用 Ollama、Llama 3.1 和 Milvus 进行函数调用案例
偶然看到一篇很短代码就能实现llama function call的文章。 秉着学习加分项的原则，进行了实验测试。这里给出案例和全部改写后的代码。 将 LLM 与函数调用相结合，就如同赋予您的 AI 连接世界的能力。通过将您的 LLM 与外部工具（例如用...
-
无需本地部署！免费使用开源大模型API
之前，我给大家分享过几篇关于如何在本地部署开源大模型以及应用场景的文章。比如说，给本地大模型添加知识库、API的调用等等。 在这个过程中，有粉丝反馈自己不会部署，或者电脑配置不好，想知道还有没有办法使用这些开源大模型。今天就来分享一个免费且无门槛使用各种...