-
Datawhale AI夏令营第四期魔搭- AIGC方向 task02笔记
大纲 一、前言 二、代码块解读 2.1 依赖包安装 2.2 数据集下载 2.3 metadata.jsonl文件生成(图片及对应标签) 2.4 设置data-juicer 配置文件并执行,处理metadata.jsonl文件生成result....
-
本地部署 Llama-3-EvoVLM-JP-v2
本地部署 Llama-3-EvoVLM-JP-v2 0. 引言 1. 关于 Llama-3-EvoVLM-JP-v2 2. 本地部署 2-0. 克隆代码 2-1. 安装依赖模块 2-2. 创建 Web UI 2-3.启动 Web UI 2-4...
-
小白教程:Unsloth 打造属于自己的中文版Llama3
在定制化业务场景中,如果利用专属数据集,经过微调的大模型能够在多种任务上与GPT-4媲美,并支持本地部署,保护隐私,同时还能降低运算成本。最新推出的Llama3,作为当前性能最强的开源基础大模型,非常适用于自然语言处理、机器翻译、文本生成、问答系统、聊天机...
-
使用diffusers来训练自己的Stable Diffusion 3大模型
基于diffusers的Stable diffusion训练代码 这里给大家介绍一个基于diffusers库来训练stable diffusion相关模型的训练代码,包含Lora、ControlNet、IP-adapter、Animatediff,以及...
-
Stable Diffusion:一文搞懂提示词
杰出的画作展现了艺术家们独特的想象力、生动的表达力和精湛的技艺。如今AI绘画工具似乎已解决了技艺的问题,创作出理想的画作似乎应该是一件轻而易举的事。 但是,AI绘画工具只是机器,如何让它正确地绘制出我们想要的画作呢?这就是本文要讲的内容 —— AI绘画中...
-
Positional Encoding | 位置编码【详解】
文章目录 1、位置编码的2种方案 2、位置编码 3、公式详解 : 绝对位置 、 相对位置 4、代码 4.1 代码1 4.2 代码2 1、位置编码的2种方案 transformer的作者刚开始说固定的位置编码和可学习的位置...
-
大白话讲透AI画图:Stable Diffusion
Stable Diffusion 是一种从文本生成 AI 图像的潜空间扩散模型,它不是在高维图像空间中操作,而是首先将图像压缩到潜在空间(latent space)中。 我们将深入了解它的工作机制。知道工作机制有什么用?除了其本身就是个非常值得了解的内容...
-
RWKV 发布中文小说模型,也擅长角色扮演!
大家好,RWKV 近期发布了 “RWKV-6-ChnNovel” 系列中文小说模型 。 相较于 RWKV-6 基底模型, RWKV-6-ChnNovel 中文小说模型在小说续写、小说扩写方面有非常好的效果。 不仅如此,使用 RWKV 小说模型进行角色扮...
-
微调(一)
微调有两种办法, 一是模型全部参数的微调,二是少量参数高效的微调。前者由于参数多,需要的GPU多,并且全参数微调可能把模型带偏,后者只需要微调少量参数,需要的GPU少,还可能达到不错的效果,成为大家研究的重点,取了个专有名词Parameter-Effic...
-
网络爬虫必备工具:代理IP科普指南
文章目录 1. 网络爬虫简介 1.1 什么是网络爬虫? 1.2 网络爬虫的应用领域 1.3 网络爬虫面临的主要挑战 2. 代理IP:爬虫的得力助手 2.1 代理IP的定义和工作原理 2.2 爬虫使用代理IP的必要性 3. 代理IP的类型...
-
比肩GPT4,没有显卡也能用Llama-3.1-405B
(题图由SiliconCloud平台的Flux.1模型生成) 近日,Meta发布了备受瞩目的Llama-3.1系列模型,包括405B “超大杯”模型傲视群雄,成为首个比肩最强大模型的开源模型。 Llama-3.1系列包括8B、70B、405B...
-
从头开始微调Llama 3.1模型
在今天的科技专栏中,我们将深入探讨如何微调Llama 3.1模型,以使其更好地适应您的特定领域数据。微调大型语言模型(如Llama)的主要目的是为了在特定领域的数据上表现更好,从而生成更符合您需求的输出。以下是我们将要介绍的五个主要步骤: 安装必要的软...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 task2笔记
纯小白,自学!从零入门AI生图(AIGC方向)基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展实践学习。#Datawhale X 魔搭 AI夏令营# 一、利用AI精读baseline学习代码 task2的目的是精读bas...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task02笔记
1:精读baseline 这里我使用了ChatGPT 4o对吧baseline文件代码进行了解析(不知道为啥我的通义千问无法使用 。 GPT代码解析结果如下: 1. 环境设置与依赖安装 !pip install simple-aest...
-
magic-animate_pytorch AIGC使图像中人物按照给定动作动起来
magic-animate 论文 MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model https://arxiv.org/pdf/2311.1...
-
【Qwen2部署实战】探索Qwen2-7B:通过FastApi框架实现API的部署与调用
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat:阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
Qwen2:通义千问倾力巨献,领航语言新纪元
一、介绍 Qwen2 是由阿里云通义千问团队研发的新一代大型语言模型系列,它在多个方面实现了技术的飞跃和性能的显著提升。以下是对 Qwen2 的详细介绍: GitHub - QwenLM/Qwen2: Qwen2 is the large langua...
-
AI绘画关键词、指令、参数整理(参数指令为Midjourney使用)
一 提示词书写规范 提示词 是ai生成图像的短文本提示语 ai会将提示词 中提到的单词和短语分解成更小的部分,叫做token,可以将其与其训练的数据进行比较,然后用于生成图像。一个优秀的提示词可以生成一张独特且令人兴奋的图像 首先得清楚的知道A...
-
Lag-Llama 开源项目实战指南
Lag-Llama 开源项目实战指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:https://gitcode...
-
llama-factory源码详解——以DPO为例
本文记录了我在学习 llama-factory过程中对代码运行过程的梳理 代码入口——src/train.py from llamafactory.train.tuner import run_exp def main( : run_exp...
-
基于AutoDL的语言大模型入门——Llama2-chat-13B-Chinese
AutoDL界面 ① autodl-tmp文件夹:数据盘,一般用来存放大的文件。 ② 其他文件夹“autodl-pub” “miniconda3” “tf-logs”等等存放在系统盘,其中tf-logs是用于存放训练过程tensorboard的...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似,都是跑通给出的代码即可,没有太大难度。 具体要求是训练 Lora 模型,实现文生图,额外的要求是8张图片必须组成一个连贯的故事,需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
LLama.cpp轻量化模型部署及量化
模型文件下载 首先说一下用到的模型,这次用的是Llama3-8B-Chinese-Chat-GGUF-8bit模型,想要快速的从huggingface下载模型可以参考我的另一篇博文。 从huggingface更快的下载模型 1.准备模型文件...
-
whisper+speaker.diarization.3.1实现根据说话人转文本
主要目的是复盘一下自己的第一个本地部署的代码。起因是老师布置的任务,想实现一个有关于教育场景的进行语音转录的模型。任务交给了本小白......好吧硬着头皮上,这篇博客也主要是记录自己的遇见的各种问题,以及对一些代码的改进。需要的小伙伴可以借鉴。 一,语音...
-
【Qwen-Audio部署实战】Qwen-Audio-Chat模型之对话机器人部署测试
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat:阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
LLaMA-Factory全面指南:从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案,帮助研究人员和开发者快速实现大模型的定制化需求。具体来说,LLaMA-F...
-
【机器学习】Google开源大模型Gemma2:原理、微调训练及推理部署实战
目录 一、引言 二、模型简介 2.1 Gemma2概述 2.2 Gemma2 模型架构 三、训练与推理 3.1 Gemma2 模型训练 3.1.1 下载基座模型 3.1.2 导入依赖库 3.1.3 量化配置 3.1.4 分词器和模型实...
-
最强开源模型 Llama 3.1 部署推理微调实战大全
目录 引言 一、Llama 3.1简介 二、Llama 3.1性能评估 三、Llama 3.1模型推理实战 1、环境准备 2、安装依赖 3、模型下载 4、模型推理 四、Llama 3.1模型微调实战 1、数据集准备 2、导入依赖包 3、读...
-
Chameleon:Meta推出的图文混合多模态开源模型
目录 引言 一、Chameleon模型概述 1、早期融合和基于token的混合模态模型 1)早期融合的优势 2)基于token的方法 2、端到端训练 二、技术挑战与解决方案 1、优化稳定性问题 2、扩展性问题 3、架构创新 4、训练技...
-
GPT-4o mini:AI技术的平民化革命
目录 引言 一、GPT-4o mini简介 二、性能表现 三、技术特点 四、价格与市场定位 五、应用场景 六、安全性与可靠性 七、未来展望 八、代码示例 结语 引言 在人工智能的浪潮中,大模型技术一直是研究和应用的热点。然而,高...
-
提示词【AI写作】用GPT写一本小说
# Role : 小说家 ## Profile : - writer: 李继刚 - version: 1.0 - language: 中文 - description: 一位擅长使用细腻的文字,表达深刻主题的小说家 ## Background : 你是...
-
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat:阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验:用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/141028040 免责声明:本文来源于个人知识与公开资料,仅用于学术交...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记--切记我是一个温柔的刀客
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记 作者: 福州大学 切记我是一个温柔的刀客 2024/8/10 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活...
-
Nature曝惊人内幕:论文被天价卖出喂AI!出版商狂赚上亿,作者0收入
Nature的一篇文章透露:你发过的paper,很可能已经被拿去训练模型了!有的出版商靠卖数据,已经狂赚2300万美元。然而辛辛苦苦码论文的作者们,却拿不到一分钱,这合理吗? 全球数据告急,怎么办? 论文来凑! 最近,Nature的一篇文章向我们揭露了这样...
-
AI PPT智能生成系统:帮你颠覆幻灯片市场!(代码开源+海量免费模板)
解放学生和打工人的双手,让PPT创作不再是难题! 在学业和职场中,提起PPT,大家的第一反应就是痛苦.....对于天天和PPT打交道的学生和打工人来说,这3个字母就像是"熬夜"的同义词,让人不禁想起那些深夜赶工、对着电脑屏幕发呆的日子! 而现在,为了救各位...
-
Llama 8B搜索100次超越GPT-4o!推理+搜索即可提升性能,新「Scaling Law」诞生?
【新智元导读】最近的论文表明,LLM等生成模型可以通过搜索来扩展,并实现非常显著的性能提升。另一个复现实验也发现,让参数量仅8B的Llama3.1模型搜索100次,即可在Python代码生成任务上达到GPT-4o同等水平。 强化学习先驱、加拿大阿尔伯塔大学...
-
Datawhale X 魔搭 AI夏令营-AIGC方向 task01笔记
目录 文生图技术的相关知识储备 SD结构图 种子 提示词 生成过程简单介绍 接下来开始随教程操作 Ⅰ开通阿里云PAI-DSW试用 Ⅱ在魔搭社区进行授权 Ⅲ报名“可图Kolors-LoRA风格故事挑战赛 Ⅳ在魔搭社区创建PAI实例编辑...
-
Llama 3.1横空出世!开源巨无霸首次击溃闭源,全民GPT-4时代来临
新智元2024-07-24 12:30北京 编辑:编辑部 【新智元导读】大模型格局,再次一夜变天。Llama 3.1 405B重磅登场,在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次,开源模型击败当今最强闭源模型。小扎大...
-
Meta发布新肥羊:Llama 3.1 大模型
Meta 的新 Llama 3.1 模型已经发布,开始与 GPT-4o 和 Claude 3.5 Sonnet 竞争。 Meta 在 23 号宣布其开源 AI 模型 Llama 已发布最新版本。据 Meta 称,随着 Llama 3.1 405B 的...
-
Llama 3.1用了1.6万个英伟达H100 GPU,耗费......
目录 Llama 3.1发布简介 Llama 3.1模型规模与训练 大模型企业发展面临的问题与困境 算力和能耗算力方面 数据和资金方面 技术和人才方面 Llama 3.1发布简介 当地时间 2024年 7月 23号,Meta 公司发布...
-
如何使用 Llama 3 构建本地文件生成式搜索引擎(附源码&文档)
系统设计 为了构建一个本地生成式搜索引擎或助手,我们需要几个组建: 包含本地文件内容的索引,具有信息检索引擎,用于检索给定查询/问题的最相关文档。 大语言模型,用于从本地文档中选择内容并生成摘要答案 一个用户界面 这些组件的交互方式如下...
-
基于Python+Django+Vue+Mysql前后端分离的图书管理系统
利用空闲休息时间开始自己写了一套图书管理系统。现将源码开源,项目遇到问题 Python+Django+Vue图书管理系统开发全流程 大家好,我是程序员科科,这是我开源的基于Python+Django+Vue的图书管理系统 希望可以帮助想学前后端分离的...
-
开源项目Llama.cpp指南
开源项目Llama.cpp指南 llama.cppPort of Facebook's LLaMA model in C/C++项目地址:https://gitcode.com/gh_mirrors/ll/llama.cpp 1. 项目介绍 Ll...
-
使用Llama-factory微调Llama3教程
一、登录OpenBayes进行注册登录 通过以下链接,新用户注册登录 OpenBayes , 即可获得 四个小时 RTX 4090免费使用时长 !! 注册链接:https://openbayes.com/console/signup?r=zzl99_W...
-
微调stable diffusion
微调stable diffusion 一. 代码参考 不在stable diffusion官方仓库中修改,而是到huggingface 中找到微调的文件微调stable diffusion, 在其上面进行修改, 二. 出现的问题: huggi...
-
AI绘画国产之光,快手的Kolors真的超级能打
theme: smartblue 点赞 + 关注 + 收藏 = 学会了 前两天,快手开源了一个AI绘画模型 Kolors,中文名叫“可图”。该模型基于数十亿图文对进行训练,支持256的上下文 token 数,支持中英双语,还支持在图片中生成...
-
Huatuo Llama Med Chinese 教程
Huatuo Llama Med Chinese 教程 Huatuo-Llama-Med-ChineseRepo for BenTsao [original name: HuaTuo (华驼 ], Instruction-tuning Large La...
-
超9000颗星,优于GPT-4V!国内开源多模态大模型
国内著名开源社区OpenBMB发布了最新开源多模态大模型——MiniCPM-V2.6。 据悉,MiniCPM-V2.6一共有80亿参数,在单图像、多图像和视频理解方面超越了GPT-4V;在单图像理解方面优于GPT-4o mini、Gemini1.5Pro...
-
2024最新AI系统【IMYAI】,超多大模型AIGC系统/AI对话/AI绘画/AI音乐/AI视频搭建部署教程
IMYAI系统官方网站:https://new.imyai.top 1. 前言 IMYAI智能助手是基于ChatGPT开发的AI智能问答系统和Midjourney-AI绘画系统,支持OpenAI-GPT全模型、Claude-3.5全模型以及国内A...