-
开源模型应用落地-qwen2.5-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（十八）
一、前言 本篇文章将使用LLaMA-Factory去高效微调（命令和界面方式）QWen2.5系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 QWen2系列模型微调: 开源模型应用落...
-
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
LLaMA-Factory ——一个高效、易用的大模型训练与微调平台。它支持多种预训练模型，并且提供了丰富的训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。 LLaMA-Factory的优势在于其简单易用的界面和强大的功能。用户可以在不编写...
-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
【人工智能绪论】一次性搞懂什么是AIGC！
? 个人主页：十二月的猫-CSDN博客 ? 系列专栏：深度学习_十二月的猫的博客-CSDN博客 ?? 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 ? 专栏持续更新中~~~✨ 目录 1. 前言 2. AIGC发展历程...
-
开源语音实时交互新突破：LLaMA-Omni实现大语言模型无缝语音交互
像 GPT-4o 这样的模型通过语音实现了与大型语言模型（LLMs）的实时交互，与基于文本的传统交互相比，显著提升了用户体验。然而，目前在如何构建基于开源 LLMs 的语音交互模型方面仍缺乏探索。为了解决这个问题，我们提出了 LLaMA-Omni，这是一个...
-
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
GitHub：https://github.com/BadToBest/EchoMimic 论文： https://arxiv.org/pdf/2407.08136 comfyui： https://github.com/smthemex/ComfyU...
-
Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task3笔记
在task2中，已经借助AI工具对AIGC生图的代码进行精读。在本章中则更加关注于了解Lora微调的基本原理以及文生图的工作流平台工具ComfyUI的使用。 task2链接：Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task...
-
用 LoRA 微调 Stable Diffusion：拆开炼丹炉，动手实现你的第一次 AI 绘画
总得拆开炼丹炉看看是什么样的。这篇文章将带你从代码层面一步步实现 AI 文本生成图像（Text-to-Image）中的 LoRA 微调过程，你将： 了解 Trigger Words（触发词）到底是什么，以及它们如何影响生成结果。 掌握 LoRA 微调...
-
Stable Diffusion AI算法，实现一键式后期处理与图像修复魔法
在当今数字影像时代，后期处理技术已成为将原始图像转化为视觉上令人惊叹艺术作品的点睛之笔。随着人工智能技术的飞速发展，尤其是Stable Diffusion技术在图像处理领域的应用，图片后期处理已达到前所未有的高度，为摄影师、设计师及视觉艺术爱好者提供了一...
-
中文法律LLaMA (Lawyer LLaMA) 使用教程
中文法律LLaMA (Lawyer LLaMA 使用教程 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/law...
-
Llama 3.1 技术研究报告-3
四、后训练 我们通过对预训练检查点进⾏多轮后训练，或在预训练检查点的基础上与⼈类反馈（Ouyang等⼈，2022年；Rafailov等⼈，2024年）对⻬模型，以产⽣对⻬的Llama 3模型。每⼀轮后训练包括监督式微调（SFT）和直接偏好优化（DPO；...
-
Linly-Talker容器构建
一、模型介绍 Linly-Talker 是一款集成了多种人工智能技术的数字人对话系统，它通过多模型集成、多轮对话能力、语音克隆技术、实时互动和视觉增强，为用户提供了一种全新的交互体验。 二、特点 智能和个性化 ：系统不仅能够理解并生成自然语言，还...
-
LLaMa-Factory入门教程
LLaMa-Factory是一个基于人工智能技术的开源项目，专为大型语言模型（LLMs）的微调而设计。它提供了丰富的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。以下将详细介绍如何使用LLaMa-Factory：...
-
LLaMA-Factory 安装和配置指南
LLaMA-Factory 安装和配置指南 LLaMA-Factory 易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。 项目地址: https://gitcode.com/gh_m...
-
使用llama.cpp 在推理MiniCPM-1.2B模型
llama.cpp 是一个开源项目，它允许用户在C++中实现与LLaMA（Large Language Model Meta AI）模型的交互。LLaMA模型是由Meta Platforms开发的一种大型语言模型，虽然llama.cpp本身并不包含LLaM...
-
Meta Llama 3介绍及其关键技术
随着深度学习算法的突破和发展，语言模型已经成为连接人与机器的重要桥梁。在这一领域中，Meta的Llama 3 作为最新一代的大规模预训练模型，凭借其卓越的性能和广泛的应用前景，正逐渐成为行业内的佼佼者。 Llama 3 的研发团队继承了前代模型的技术优势...
-
使用 GaLore 预训练LLaMA-7B
项目代码： https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore 参考博客： https://zhuanlan.zhihu.com/p/686686751...
-
AIGC生成图像检测
AI生成图像技术的进展与影响 技术进步： 视觉质量与效率提升：近年来，AI生成图像在视觉质量、语义复杂度及运行时间效率上均实现了显著飞跃。 成本降低与普及：生成虚假图像所需的专业知识和成本大幅下降，促使在线图像生成平台（如Midjourney、DAL...
-
LlaMa-Factory源码解析之预训练LLaMA-Factory/src/llamafactory/train/pt/workflow.py -＞ run_pt()
LLaMA-Factory/src/llmtuner/train/pt/workflow.py at main · hiyouga/LLaMA-Factory · GitHub 截止至2024年7月，该框架workflow.py目录从LLaMA-Fact...
-
提示词工程学的前世今生：Generative Pre-trained Transformer 到AIGC，再到Prompt Engineering
人工智能（Artificial intelligence，AI）的演进已然变革了我们对于技术的理解以及应用方式。自最初的规则系统直至当下的深度学习，AI 在众多领域均彰显出了极为巨大的潜力。当中，生成式预训练模型（Generative Pre-traine...
-
Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 3 就要完成了...
本文为AI方向小白记录暑期参加魔搭夏令营-AIGC文生图方向的Task 01 报名赛事链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制 欢迎所有小白，大神前来交流学习。 一. 初识C...
-
百度Ernie大模型是什么？
百度的Ernie模型（Enhanced Representation through kNowledge Integration）是一个基于Transformer架构的预训练语言模型。它由百度研发，旨在通过整合大规模语料和知识图谱来增强模型的语言理解和生成...
-
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
#目录# 一、ComfyUI安装及实践 （一）什么是ComfyUI （二）ComfyUI核心模块 （三）ComfyUI图片生成流程 ...
-
DataWhale Task02：从零预训练一个tiny-llama 20923
DataWhale Task02：从零预训练一个tiny-llama 20923 原文link：https://github.com/KMnO4-zx/tiny-llm 开源内容：https://github.com/datawhalechina/t...
-
【记录贴 | 持续更新】搜广推/aigc 面试题记录
目录 nlp/搜广推 transformer结构？ 位置编码的作用？ 解释 self-attention？ attention中 /√(d_k 的作用是什么？ 解释Multi-Head Attention？ FeedForward的作用...
-
AI几小时设计芯片超越人类！谷歌AlphaChip登Nature，已设计出三代旗舰TPU
【新智元导读】谷歌的AlphaChip，几小时内就能设计出芯片布局，直接碾压人类专家!这种超人芯片布局，已经应用在TPU、CPU在内的全球硬件中。人类设计芯片的方式，已被AI彻底改变。 能设计芯片的AI黑科技来了! 就在刚刚，谷歌DeepMind推出名为A...
-
国内外大模型汇总（包括科大星火、文心一言、通义千问、智普清言、华为大模型）
国内外大模型汇总 1. 科大讯飞星火认知大模型 主要特点： 多语言能力：以中文为核心，同时支持多语言处理，能够进行跨语种的语言理解和生成。 广泛的任务能力：具备内容生成、语言理解、知识问答、推理、数学计算、代码理解与生成等多种能力，能够处理复杂的自...
-
Datawhale X 魔塔 AI夏令营第四期-AIGC文生图方向 Task3笔记
一、工具初探——ComfyUI应用场景探索 1、什么是ComfyUI 在介绍ComfyUI之前，我们先来回顾一下我们熟悉的GUI。 GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是在电脑屏...
-
Llama 3.2来了，多模态且开源！AR眼镜黄仁勋首批体验，Quest 3S头显价格低到离谱
如果说 OpenAI 的 ChatGPT 拉开了「百模大战」的序幕，那 Meta 的 Ray-Ban Meta 智能眼镜无疑是触发「百镜大战」的导火索。自去年 9 月在 Meta Connect 2023 开发者大会上首次亮相，短短数月，Ray-Ban M...
-
将LLaMA模型导出为ONNX格式的教程
将LLaMA模型导出为ONNX格式的教程 export_llama_to_onnx export llama to onnx 项目地址: https://gitcode.com/gh_mirrors/ex/export_llama_to_onn...
-
DataWhale夏令营第四期魔搭- AIGC方向 task03笔记
文章目录 前言 一、ComfyUI的了解 1.认识ComfyUI 2. GUI的图片生成流程 二、Lora微调 1. Lora和微调简介 2.Lora微调的优势和详细内容 3.Lora实例详解 三，训练集的get 总结 前...
-
Datewhale×魔搭 AI夏令营第四期 AIGC方向Task3笔记
·Part1 ComfyUI 1.ComfyUI简介： GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GUI的一...
-
ComfyUI系列教程(4)--ComfyUI基础节点LoRA
ComfyUI基础节点LoRA 2. ComfyUI基础节点 2.1. LoRA 2.1.1.LoRA原理 2.1.2.LCM-LoRA 2.1.3.ComfyUI示例 2. ComfyUI基础节点 本文主要介绍LoRA模...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
2023年中国AIGC产业发展趋势与模型架构
AIGC与大模型将引领“AI产业”与“产业AI”发展 AIGC（AI-Generated Content）指利用人工智能技术（生成式AI路径）来生成内容的新型内容生产方式。2022年11月上线的 AIGC应用ChatGPT，凭借其在语义理解、文本创作、代...
-
Lit-LLaMA 开源项目教程
Lit-LLaMA 开源项目教程 lit-llamaImplementation of the LLaMA language model based on nanoGPT. Supports flash attention, Int8 and GPTQ...
-
stable-diffusion-xl_pytorch生成高质量的图像的AIGC模型
stable-diffusion-xl_pytorch 论文 SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis https://arxiv.org/...
-
Learning Multi-dimensional Human Preference for Text-to-Image Generation
Paper name Learning Multi-dimensional Human Preference for Text-to-Image Generation Paper Reading Note Paper URL: https://arx...
-
单GPU一分钟生成16K高清图像！新加坡国立发布LinFusion:无缝兼容Stable Diffusion插件
论文链接：https://arxiv.org/pdf/2409.02097 Git链接：https://lv-linfusion.github.io/ 亮点直击 本文研究了Mamba的非因果和归一化感知版本，并提出了一种新颖的线性注意力机制...
-
Llama模型家族之拒绝抽样(Rejection Sampling)（五）蒙特卡罗算法在拒绝抽样中：均匀分布与样本接受标准
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
AIGC：让生成式AI成为自己的外脑_aigc 让生成式ai成为自己的外脑 pdf 下载
二、AIGC：内容创作的新革命 AIGC是生成式AI在内容创作领域的重要应用。它利用深度学习模型，从海量数据中学习并生成各种形式的内容，包括文本、图像、音频和视频等。AIGC的出现，极大地丰富了内容创作的手段和形式，为创作者提供了更多的灵感和可能性。...
-
“Datawhale X 魔搭 AI夏令营”-AIGC文生图方向Task3跑通指南
前言 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 第四期学习接近尾声很感谢Datawhale给我提...
-
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
github:diffusers/examples/instruct_pix2pix/train_instruct_pix2pix_sdxl.py at main · huggingface/diffusers · GitHub 论文：https://a...
-
速通LLaMA2：《Llama 2: Open Foundation and Fine-Tuned Chat Models》全文解读
文章目录 概览 LLaMA和LLaMA2的区别 Abstract Introduction Pretraining Fine-tuning 1. 概括 2、Supervised Fine-Tuning（SFT） 3、⭐Reinforcemen...
-
Llama Factory ：百种以上语言模型的统一高效微调框架
人工智能咨询培训老师叶梓 转载标明出处 大模型适应到特定下游任务时，传统的全参数微调方法成本高昂，因此，研究者们一直在探索更高效的微调技术。由北京航空航天大学和北京大学的研究团队提出了一个名为Llama Factory的统一框架，旨在解决大模型高效微调的...
-
详聊LLaMa技术细节：LLaMA大模型是如何炼成的？
本文介绍来自 Meta AI 的 LLaMa 模型，类似于 OPT，也是一种完全开源的大语言模型。LLaMa 的参数量级从 7B 到 65B 大小不等，是在数万亿个 token 上面训练得到。值得一提的是，LLaMa 虽然只使用公共的数据集，依然取得了强悍...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
PyTorch-LLaMA 项目使用教程
PyTorch-LLaMA 项目使用教程 pytorch-llama LLaMA 2 implemented from scratch in PyTorch 项目地址: https://gitcode.com/gh_mirrors/py/pyt...
-
大模型时代下的新一代广告系统
• 歧义词的多意图：多意图query下，基于样本生成逻辑，会偏向主意图，弱化甚至丢失次意图，导致召回问题，例如：小米（粮食or手机？），苹果（水果or手机？）； • 长尾类目冷启：由于用户点击数据的马太效应，使得大量的长尾类目没有...
-
AIGC专栏15——CogVideoX-Fun详解 支持图&文生视频 拓展CogVideoX到256～1024任意分辨率生成
AIGC专栏15——CogVideoX-Fun详解 支持图&文生视频 拓展CogVideoX到256～1024任意分辨率生成 学习前言 项目特点 生成效果 相关地址汇总 源码下载地址 CogVideoX-Fun详解 技术储备 Dif...