-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
llama_index 从 0 到 1：别再用传统方法处理数据了！LlamaIndex如何革新你的信息检索？
llama_index 从 0 到 1 llama_index 基础设施：数据连接、索引构建、查询接口 高级特性：六大核心功能来增强语言模型处理和响应外部数据的能力 数据连接器 Documents & Nodes (文档与节点 ...
-
[arxiv论文解读]LlamaFactory：100+语言模型统一高效微调
该文档是一篇关于LLAMAFACTORY的学术论文，这是一个用于高效微调大型语言模型（LLMs）的统一框架。这篇论文详细介绍了LLAMAFACTORY的设计、实现和评估，以及它在语言建模和文本生成任务中的应用。下面是对文档内容的详细解释： 摘要（Abst...
-
深入浅出理解 AI 生图模型 Stable Diffusion
Stable Diffusion 概述 为了降低理解成本，我会尽量减少有关数学的知识点，并尽量用类比的方式，帮助你理解一些概念。所以有可能出现不够严谨的情况，如果你有更好的解释，欢迎留言。 Stable Diffusion（稳定扩散）严格说来...
-
llama factory 增量预训练代码解析 & .yaml文件传参和sh的不同 examples/train_lora/llama3_lora_pretrain.yaml
新版本(2024年后 的llama factory，改用了.yaml文件传参的方式，请问和原始的.sh传参方式有什么不同？ 新版本的 llama factory 框架使用 .yaml 文件来传递参数，相较于原始的 .sh 脚本传参方式，有一些显著的不...
-
LLaMA-Factory环境安装-重点总结
问题：在使用官网介绍的博客，进行安装，比较顺利。只不过，在需要推理加速时，UI界面上，给出的选项所支持的FlashAttention-2和Unsloth，不好实现。在进行一系列的调整，总结如下： 想要同时实现FlashAttention-2和Unslot...
-
GitCode Copilot强大的代码助手
Github Copilot是由GitHub和OpenAI联合开发的一款人工智能（AI）驱动的代码助手。它基于大量的开源代码和编程语言知识进行训练，可以帮助开发人员快速生成高质量的代码片段。本文将介绍如何使用Github Copilot以及它的常用快捷键。...
-
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
什么是lora微调 LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。 环境准备 这次使用到的微调框架是llama-factory。这个框架集成了对多种模型进行各种训练的代码，少...
-
whisper.cpp 学习笔记
whisper.cpp whisper.cpp 学习笔记 whisper 介绍 源码下载 源码编译 支持的模型 优化/加速 生成库文件 使用 whispe.cpp 的 demo 参考文献 whisper.cpp 学习笔记...
-
AIGC最新资讯收集
阿里免费的 AI 创意海报生成工具—— ModelScope 魔搭社区 PosterGenius 魔搭（ModelScope）是阿里达摩院重磅推出的一个 AI 模型社区。里面有众多开源模型，还有很多开箱即用的在线 Demo。 比如前段春节期间的用的比较...
-
使用LLaMA-Factory微调Llama3大模型
一、基础模型下载 本文的背景是微调一个基于Llama3的中文版模型Llama3-8B-Chinese-Chat，用于中文指定领域的问答下游任务 1、HuggingFace官网直接下载 官网地址：https://huggingface.co/mo...
-
从0到1，为ASP.NET Core项目添加redis支持（全程使用copilot编码）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、需求背景 二、询问copilot工作流 1.简单询问 2.细节询问 3.代码定制化 三、最终验证 总结 前言 最近做需求需要用到...
-
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰...
-
Stable-Diffusion的WebUI部署
1、环境准备及安装 1.1、linux环境 # 首先，已经预先安装好了anaconda，在这里新建一个环境 conda create -n sdwebui python=3.10 # 安装完毕后，激活该环境 conda activate sdweb...
-
拥抱 AGI：PieDataCS 引领云原生数据计算系统新范式
自2023年后，人工智能技术进入了一个更为成熟和广泛应用的阶段，人工通用智能（AGI）这一概念也成为了科技界和产业界热议的焦点。本文将结合 AGI 时代背景，从架构设计到落地实践，详细介绍拓数派云原生数据计算系统 PieDataCS。 1 中国...
-
讯飞AI写作与python及selenium结合，自动化处理的编写笔记，这是我思考和整理了接近一周才完成的，可能我太笨了。
起因：当ai写作刚开始的时候，我头脑发热，花钱买了一年的。结果发现用手工的方式是不可能用完量的。用模拟操作倒是可以，本着钱不能乱花的原则，我开始想，如何也让python和selenium来完成这项工作。 这个系统和其他的Ai不太一样，一方面他支持问答式，...
-
文献研读｜AIGC溯源场景及研究进展
前言：本文介绍关于AIGC生成阶段针对不同溯源场景的几篇相关工作。 相关文章：针对文生图模型的AIGC检测论文研读，参见此篇文章。 如下图所示，在AIGC生成阶段，有4种溯源场景： 1）生成模型溯源训练数据 2）微调模型溯源预训练模型 3）AI...
-
【LLM教程-llama】如何Fine Tuning大语言模型？
今天给大家带来了一篇超级详细的教程,手把手教你如何对大语言模型进行微调(Fine Tuning ！（代码和详细解释放在后文） 目录 大语言模型进行微调(Fine Tuning 需要哪些步骤？ 大语言模型进行微调(Fine Tuning 训练过程及代码...
-
AI 技术创新可以有多硬核？ GOTC 2024 论坛议程抢先看
8 月 15 日至 16 日，GOTC 2024 将在上海张江科学会堂盛大开启。GOTC 2024 与上海浦东软件园联合举办，并结合 “GOTC（全球开源技术峰会）” 与 “GOGC（全球开源极客嘉年华）”，旨在打造一场全新的开源盛会。2024 全球开源极...
-
欢迎 Stable Diffusion 3 加入 Diffusers
作为 Stability AI 的 Stable Diffusion 家族最新的模型，Stable Diffusion 3(SD3 现已登陆 Hugging Face Hub，并且可用在 ? Diffusers 中使用了。 Stable Dif...
-
深度解读昇腾CANN多流并行技术，提高硬件资源利用率
本文分享自华为云社区《深度解读昇腾CANN多流并行技术，提高硬件资源利用率》，作者：昇腾CANN。 随着人工智能应用日益成熟，文本、图片、音频、视频等非结构化数据的处理需求呈指数级增长，数据处理过程从通用计算逐步向异构计算过渡。面对多样化的计算需求，昇腾...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
论文研读｜针对文生图模型的AIGC检测
前言：人工智能生成内容的鉴别（AIGC检测）算是当前的研究热点之一，本篇文章介绍几篇针对文生图模型的 AIGC 检测相关工作。 相关文章：AIGC溯源相关研究详见此篇文章 目录 1. Towards Universal Fake...
-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
【ComfyUI】Stable Diffusion 3 加Controlnet
基于 instantX-research/diffusers_sd3_control: ? Diffusers: State-of-the-art diffusion models for image and audio generation in PyT...
-
本地离线模型搭建指南-LLaMA-Factory训练框架及工具
搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。 本地离线模型搭建指南将按照以下四个部分展开 中文大语言模型底座选...
-
Pycharm登录github copilot插件报错：code:-32603或64334，魔法上网，全局代理，改HTTP端口，修改本地全局变量等依旧没用后的解决方案。
打开本地文件：C:\Windows\System32\drivers\etc\hosts，以管理员方式修改hosts文件，直接在末尾添加如下内容： 140.82.112.25 alive.github.com 140.82.114.6 api.gi...
-
掌握Midjourney视觉艺术的关键提示词指南
在数字艺术的海洋中，Midjourney以其独特的图像生成能力脱颖而出，为艺术家和创意工作者提供了前所未有的创造自由。要真正掌握这一工具，理解并有效使用各种提示词至关重要。本文将深入探索Midjourney中的“风格关键词”、“场景关键词”、“视觉关键词”...
-
Whisper.cpp 0基础搭建音频文件转文字(Windows下C++)
介绍 whisper.cpp是一个开源项目，它是对OpenAI的Whisper模型的C/C++移植实现。 OpenAI的Whisper是一个自动语音识别（ASR）系统，经过大量多语言和多任务的监督数据训练，能够进行多语言语音识别、语音翻译和语言识别等任...
-
菲尔兹奖得主亲测GPT-4o，经典过河难题破解失败！最强Claude 3.5回答离谱，LeCun嘲讽LLM
【新智元导读】LLM能否解决「狼-山羊-卷心菜」经典过河难题?最近，菲尔兹奖得主Timothy Gowers分享了实测GPT-4o的过程，模型在最简单的题目上竟然做错了，甚至网友们发现，就连Claude3.5也无法幸免。 在经典的「狼-山羊-卷心菜」过河问...
-
在阿里云上用LLaMA-Factory微调大模型
相信很多小伙伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说实话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。 基于以上前提条件，唯一方法只得通过云服务来帮我们微调...
-
AET生态新纪元：数字人AIGC平台发布会在香港成功举办
香港，3月28日——在人工智能技术与数字经济迅速发展的今天，AET生态系统迎来了历史性的一刻，成功举办了AET数字人AIGC平台的发布会。这一重要事件不仅吸引了来自科技、金融、教育等多个领域的精英人士，更展示了AET对推动全球数字经济发展的坚定承诺和远见。...
-
【AI 大模型】大模型应用架构 ( 业务架构 - AI Embedded、AI Copilot、AI Agent | 技术架构 - 提示词、代理 + 函数调用、RAG、Fine-tuning )
文章目录 一、大模型技术方向 - 大模型训练 / 大模型应用 二、大模型应用 - 业务架构 1、AI Embedded 模式 2、AI Copilot 模式 3、AI Agent 模式 三、大模型应用 - 技术架构 1、提示词 技术架构...
-
Llama 3大模型学习
基础部分学习： 1、 Llama 3 Web Demo 部署 streamlit run ***.py(网页演示py文件路径） ***(下载好的大模型参数路径 注意点：在vscode中要对上面命令产生的External URL的最后四位端口号，在...
-
文生图算法原理：从扩散模型到Stable Diffusion
导读 Stable Diffusion是扩散模型的一种实现。传统的扩散模型（如DDPM）的做法是在像素空间预测预测噪声图noise_t，输入是每一步的图片image_t和代表step的Time embedding，然后在图片image_t上减去模型预测...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
Llama_index利用本地大模型工具ollama（CPU）
基于ollama的本地大模型的LlamaIndex示例代码 from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings from llama_index....
-
百度文心一言 java 支持流式输出，Springboot+ sse的demo
参考：GitHub - mmciel/wenxin-api-java: 百度文心一言Java库，支持问答和对话，支持流式输出和同步输出。提供SpringBoot调用样例。提供拓展能力。 1、依赖 <dependency> <group...
-
【CS.AI】AI引领编程新时代：深度探索GitHub Copilot
文章目录 引言 0. TOP TAKEAWAYS 重要要点 1. Copilot的基本功能 2. 技术原理 3. 优势与局限 优势 局限 4. 使用体验 4.1 初次使用 4.2 在 JetBrains 全家桶中使用 GitHub C...
-
在Redhat 7 Linux上安装llama.cpp [ 错误stdatomic.h: No such file or directory]
前期准备 在github上下载llama.cpp或克隆。 GitHub - ggerganov/llama.cpp: LLM inference in C/C++ git clone https://github.com/ggerganov/ll...
-
Apache Flink类型及序列化研读&生产应用｜得物技术
一、背景 序列化是指将数据从内存中的对象序列化为字节流，以便在网络中传输或持久化存储。序列化在Apache Flink中非常重要，因为它涉及到数据传输和状态管理等关键部分。Apache Flink以其独特的方式来处理数据类型以及序列化，这种方式包括它自身...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（二）从用户反馈构建比较数据集
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
使用 Llama-Index、Llama 3 和 Qdrant 构建高级重排-RAG 系统
原文：Plaban Nayak Build an Advanced Reranking-RAG System Using Llama-Index, Llama 3 and Qdrant 引言 尽管 LLM（语言模型）能够生成有意义且语法正确的文本...
-
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 《大模型面试...
-
llama factory 是如何加载数据集 通过对数据集加载的代码的理解编写自定义数据集训练代码
第一层从训练代码追踪到以下代码 def get_dataset( tokenizer: "PreTrainedTokenizer", model_args: "ModelArguments", data_args: "DataAr...
-
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的Qwen1.5，Qwen2实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0...
-
Midjourney画图关键词-最全的画风关键词
在Midjourney或其他AI绘图平台中，常见画风关键词可以帮助用户引导AI生成具有特定艺术风格的画面。以下是一些常见的画风关键词及其一般效果： 1. **Realistic**（写实）：画面细节丰富，追求照片般的真实感，人物和物体的比例、色彩都接近现...