-
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
本次实验基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。实验平台为InternStudio，实验所用的显存为24G。 =============目录=...
-
用ControlNet+Inpaint实现stable diffusion模特换衣
用ControlNet+Inpaint实现stable diffusion模特换衣 ControlNet 训练与架构详解 ControlNet 的架构 用于文本到图像扩散的 ControlNet 训练过程...
-
文心一言指令
文心一言 文心一言（ERNIE Bot）是百度公司研发的知识增强大语言模型，它可以根据用户的指令和输入，生成相应的回答或文本。以下是一些可能的指令示例，用于指导文心一言完成不同的任务： 知识问答： 指令：“请问什么是人工智能？” 文心一言将...
-
探秘Whisper Diarization：语音转文字与对话分割的新锐工具
探秘Whisper Diarization：语音转文字与对话分割的新锐工具 项目地址:https://gitcode.com/MahmoudAshraf97/whisper-diarization 项目简介 Whisper Diarization 是...
-
每日AIGC最新进展(23)：魁北克人工智能研究所提出扩展注意力机制视频编辑、浙江大学提出video-to-Audio生成算法Frieren、清华大学提出扩散模型参数高效迁移学习Diff-Tuning
Diffusion Models专栏文章汇总：入门与实战 Temporally Consistent Object Editing in Videos using Extended Attention 本文提出了一种用于视频编辑的新方法，旨在通过...
-
大模型理解复杂表格，字节&中科大出手了
只要一个大模型，就能解决打工人遇到的表格难题! 字节联手中科大推出了一款统一表格理解大模型，可以以用户友好的方式解决多种表格理解任务。 同时提出的还有一套开源测试基准，可以更好地评估模型在表格理解任务上的表现。 该模型名为TabPedia，利用多模态大模...
-
详细解析AI作画原理及相关理论
先来欣赏AI作画 人物方面： 欣赏AI作画自然意境： 目录 引言 一、AI作画原理 二、相关理论 1. 风格迁移理论 2. 生成对抗网络（GAN） 三、代码示例 进一步的优化和改进可能包括： 总结： 引言...
-
区分LLaMA、llama.cpp和Ollama
大模型本地部署和运行中，经常遇到这三个概念，llama，ollama，llama.cpp。 刚开始接触时，的确有些傻傻分不清楚。这里简单区分理解下，方便快速上手。 简单来讲，llama 是一个Meta公司开源的预训练大型语言模型，llama.cpp用于加...
-
AIGC-风格迁移-style Injection in Diffusion-CVPR2024HighLight-论文精度
Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer-CVPR2024High...
-
每日AIGC最新进展(22)：中国科学院大学提出Zoro-shot视频插帧算法、Adobe研究院提出高效视频扩散模型的叠加网络搜索架构SNED、蚂蚁集团提出视频深度估计算法ChronoDepth
Diffusion Models专栏文章汇总：入门与实战 ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation 本文提出了一种名为Z...
-
AI绘画专栏之换脸在SDXL中使用保持人脸一致性INSTANTID FACEID XADAPTER，comfyui
大家都知道腾讯AILab出的ipadapter系列带来的faceid，photomaker非常火，顺便分享一下instantid，跟faceid一样用来保持人脸一致性，孰强孰弱不好说，我只能说我觉得faceid更强，但现在又出来了一个Xadapter是什么...
-
Stable Diffusion原理
一、Diffusion扩散理论 1.1、 Diffusion Model（扩散模型） Diffusion扩散模型分为两个阶段：前向过程 + 反向过程 前向过程：不断往输入图片中添加高斯噪声来破坏图像 反向过程：使用一系列马尔可夫链逐步将噪声还原...
-
LLaMa大模型微调
1. 模型的微调 1.1 大模型LLaMa下载 先下载一个完整版本的LLaMa模型，官网的或别人下载微调过的中文版本的。 1.2 指令微调 执行run_clm_sft_with_peft 1.3 合并LORA 大模型的原始参数和微调后的参数...
-
终于来啦！Stable Diffusion 3将在6月12日正式开源
6月3日晚，著名开源大模型平台Stability AI的联合首席执行官Christian Laforte，在AMD的产品发布会上宣布，文生图模型 Stable Diffusion 3将于6月12日在Hugging Face开源权重。 本次开源的是Stab...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
Karpathy 4小时AI大课上线，小白看了都会从零构建GPT-2
距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。 大神Karpathy新一期AI大课又上线了。 这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型...
-
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。 即使是苹果，目前也需要与OpenAI合作，通过将云端GPT-4...
-
探索深度学习艺术：Stable Diffusion的ONNX & FP16革命
探索深度学习艺术：Stable Diffusion的ONNX & FP16革命 项目地址:https://gitcode.com/Amblyopius/Stable-Diffusion-ONNX-FP16 在当今的艺术与技术交汇处，一个令人兴奋...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
AIGC学习（SD、LoRA和ControlNet）
目录 Stable Diffusion（稳定扩散模型） 为什么叫扩散模型？ 网络结构 VAE（Variational Auto-Encoder） UNet模型 CLIP Text Encoder LoRA(低秩适应矩阵 什么是LoRA？...
-
五一 Llama 3 超级课堂 | XTuner 微调 Llama3 图片理解多模态 实践笔记
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。 课程文档：Llama3-Tutorial/docs/llava.md at main · Smart...
-
30岁失业的我，选择职场转型，进入AIGC工程师领域，重新开始
去年，刚满30岁的我又一次被公司辞退了，由于学历不高，简历也不出彩，尽管半个月来投了一份又一份的简历，但仍然是石沉大海，我终于不得不开始思考一个以前被我一直刻意压制的想法——职场转型。 尽管知道这条路艰难，几乎是要从零重新开始，但比耗死在之前那几乎看不到...
-
聊聊各种“GC”：UGC、PGC、PUGC、OGC、MGC、BGC、AIGC有什么区别？
01. UGC UGC(User Generated Content ，指用户原创内容。 UGC的概念最早起源于互联网领域，即用户将自己原创的内容通过互联网平台进行展示。 内容生产的主体是非专业人士，即一般公众；内容的制作渠道是非专业化的；内容...
-
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型
文章目录 Llamp.cpp环境配置 Chinese-LLaMA-Alpaca-2模型介绍 模型下载 转换生成量化模型 Anaconda环境安装 运行 Llamp.cpp环境配置 git clone git@...
-
文心一言 vs GPT-4 -- 全面横向比较
文心一言和GPT-4都是当前非常先进的自然语言处理模型，它们在语言理解、生成和翻译等方面都展现出了出色的能力。以下是对这两个模型的全面横向比较： 核心技术基础： 文心一言：是基于BERT（Bidirectional Encoder Represen...
-
大模型系列：LLaMA大模型简述和本地部署实践
内容摘要 LLaMA大模型背景介绍 LLaMA网络结构相比Transformer的改进 LLaMA中文化Atom大模型简述 在Python中调用HuggingFace LLaMA模型 基于text-generation-webui部署LLaMA问答平...
-
AIGC你了解多少呢？
AIGC全面介绍 一、引言 随着人工智能技术的飞速发展，AIGC（Artificial Intelligence Generated Content）作为生成式人工智能的重要分支，正在逐渐改变我们的生产、生活和工作方式。AIGC是人工智能1.0时代进入...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
Stable Diffusion教程：从入门到精通
Stable Diffusion是一种基于深度学习的图像生成技术，能够生成高质量的图像，广泛应用于艺术创作、广告设计和游戏开发等领域。本教程将详细介绍Stable Diffusion的基础知识、安装和配置方法，以及如何使用它进行图像生成。 1. 什么...
-
20K star！搞定 LLM 微调的开源利器LLaMA Factory
20K star！搞定 LLM 微调的开源利器LLaMA Factory 关于LLM 微调 优化型技术 计算型技术 LLaMA Factory 是什么 使用 LLaMA Factory 模型导出 LLaMA-Factory 结构 总结 项目...
-
Stable Diffusion本地部署教程：搭建你的AI图像生成环境
引言 Stable Diffusion作为一种先进的AI图像生成技术，近年来受到了广泛关注。它可以根据用户输入的文本描述，生成与之相符的详细图像。本文将指导你如何在本地环境中部署Stable Diffusion，让你能够亲自体验这一技术的强大功能。 环...
-
自然语言处理（NLP）技术在AIGC中的突破
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
RAFT：引领 Llama 在 RAG 中发展
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
Stable Diffusion详细教程
目录 ?引言 ?Stable Diffusion基本概念 ?潜在扩散模型 ?图像生成原理 ?Stable Diffusion安装部署 ?环境要求 ?安装步骤 ?Stable Diffusion阶段 ?准备阶段 ?训练阶段 ?评估阶...
-
快速入门大模型技术与应用，推荐你从Stable Diffusion开始学起
ChatGPT狂飙160天，世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站https://ai.hzytsoft.cn/ 更多资源欢迎关注 世界是变化的，分子是...
-
Llama 3“智商”测试：英文提示表现亮眼，中文不完美但差强人意！
大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（三） 使用 TRL 训练奖励模型
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
Stable Diffusion EDM Sampler详细解释
EDM (Euler Discretization with Momentum ： EDM代表了欧拉离散化并带有动量的方法，它通常是对连续时间扩散过程进行数值积分的一种变体，通过引入动量项来改进收敛性和稳定性。 在 EDMSam...
-
有趣的大模型之我见 | Llama AI Model
Llama 开源吗？ 我在写《有趣的大模型之我见 | Mistral 7B 和 Mixtral 8x7B》时曾犹豫，在开源这个事儿上，到底哪个大模型算鼻祖？2023 年 7 月 18 日，Meta 推出了最受欢迎的大型语言模型（LLM）的第二个版本-Ll...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
Stable Diffusion中的embedding
Stable Diffusion中的embedding 嵌入，也称为文本反转，是在 Stable Diffusion 中控制图像样式的另一种方法。在这篇文章中，我们将学习什么是嵌入，在哪里可以找到它们，以及如何使用它们。 什么是嵌入embeddin...
-
Stable Diffusion使用ControlNet:IP-Adapter实现图片风格迁移
IP-Adapter 全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models（文本到图像扩散模型的文本兼容图像提示适配器），是腾讯研究院出品的一个新的Contr...
-
最强开源大模型Llama 3发布！最大版本是4000亿参数规模！性能直逼GPT-4！
最强开源大模型Llama 3发布！最大版本是4000亿参数规模！性能直逼GPT-4！ 当地时间4月18日，Meta 官宣发布其最新开源大模型 Llama 3。目前，Llama 3 已经开放了 80亿 和 700亿 两个小参数版本，上下文窗口为8K。未来...
-
Stable Diffusion 模型演进：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 持续火爆！！...
-
想要成为AIGC工程师, 却不知从哪里开始学习？近屿全新推出一图看懂！
在这个AI技术飞速发展的时代，在人们常常警惕AI将取代自己的工作的时候，一个另类的说法却悄然流行：“AI不会取代你的工作，会取代你的是掌握了AI技能的人。”这不仅仅是一个警示，更是一个机遇。随着AI工具如ChatGPT、Midjourney、Stable...
-
深度学习突破：LLaMA-MoE模型的高效训练策略
在人工智能领域，大模型（LLM）的崛起带来了前所未有的进步，但随之而来的是巨大的计算资源需求。为了解决这一问题，Mixture-of-Expert（MoE）模型架构应运而生，而LLaMA-MoE正是这一架构下的重要代表。 LLaMA-MoE是一种基于...
-
Stable Diffusion的本地部署、训练和使用
1.环境信息 显卡：NVIDIA GeForce RTX 3060 Laptop GPU 系统：Windows 11 CUDA版本：11.6 Python.exe版本：3.10.6 GPU挂载运行 2.实验内容 2.1 本地部署...
-
一文讲清楚，AI、AGI、AIGC与AIGC、NLP、LLM，ChatGPT等概念
前言 随着chatgpt3.5的横空出试，大模型爆火，这个风暴传递到了各行各业。 各类公众号、帖子，也涌现出了各种概念，AI、大模型、LLM、AI、AIGC、AGI、GPT、ChatGPT等等。 总觉得被这些概念搞得头晕。 我花了点时间，梳理了下...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（一）
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
AIGC-常见图像质量评估MSE、PSNR、SSIM、LPIPS、FID、CSFD，余弦相似度----理论＋代码
持续更新和补充中…多多交流！ 参考:图像评价指标PNSR和SSIM函数 structural_similarity图片相似度计算方法总结 MSE和PSNR MSE:...