-
[AIGC] Guava Library 中常用的一些工具类详解
Google Guava 是一个功能强大的 Java 库，它提供了大量用于优化代码和提高代码质量的工具。该库提供了许多常用的实用类，下面我们来详细介绍一些在编程应用开发中经常需要的。 文章目录 1. 集合类 2. I/O 类 1....
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
[AIGC] 深入了解标准与异常重定向输出
在操作系统和编程环境下，有时我们需要更加精细地控制程序的输入或输出过程，这就涉及到了标准输入输出流，以及重定向的概念。接下来，我们将详细介绍标准输出、标准错误输出，以及如何进行输出重定向。 文章目录 1. 标准输出和标准错误输出...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
【ComfyUI】Stable Diffusion 3 加Controlnet
基于 instantX-research/diffusers_sd3_control: ? Diffusers: State-of-the-art diffusion models for image and audio generation in PyT...
-
AIGC入门（一） 从零开始搭建Transformer！（上）
前言 我记得曾经看过一篇综述，综述里曾这样讲过： 多模态使用Transformer作为基石模型的一个原因之一，就是因为它能够很好地统一视觉（ViT、DiT）和文本，并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
基于Python和TensorFlow实现BERT模型应用
本文分享自华为云社区《使用Python实现深度学习模型：BERT模型教程》，作者： Echo_Wish。 BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用...
-
【机器学习】FFmpeg+Whisper：二阶段法视频理解（video-to-text）大模型实战
目录 一、引言 二、FFmpeg工具介绍 2.1 什么是FFmpeg 2.2 FFmpeg核心原理 2.3 FFmpeg使用示例 三、FFmpeg+Whisper二阶段法视频理解实战 3.1 FFmpeg安装 3.2 Whisper模型下载...
-
Kimi高阶技巧：打造你的AI写作助手，一键生成专业内容！
在这个信息爆炸的时代，人工智能正逐步改变我们的工作和生活方式。今天，我们要介绍的是一个能够极大提升写作效率的智能工具——Kimi，它可以帮助我们快速生成Markdown格式的专业内容，修改提示词，快速写出爆款文案，以及如何进行小红书式的精美排版！ ?系...
-
AI绘画-Stable Diffusion三次元人物模型训练（炼丹）教程，你也可以定制你的三上youya老师！
大家好，我是设计师阿威 （Stable diffusion生成的三上youya老师） 用AI进行画出不同人物，我们需要训练自己Lora模型。除了训练二次元人物之外，也常常要训练三次元人物。 比如福利姬老师可以训练自己然后穿上各种美美的衣服来拍照，...
-
Etched公司推出了专为变压器模型设计的定制芯片在Llama 70B模型上每秒可处理超过500,000个token。这一速度比NVIDIA即将推出的顶级GPU GB200快了一个数量级。
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
【大模型】大模型 CPU 推理之 llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp llama.cpp 安装llama.cpp Memory/Disk Requirements Quantization 测试推理 下载模型 测试 参考 llama.cpp...
-
【Stable Diffusion本地部署简易教程】从入门到实践
Stable Diffusion 本地部署指南：简单易懂的图文教程 引言 Stable Diffusion是一种深度学习模型，用于生成高质量的图像。本地部署意味着你可以在自己的计算机上运行这个模型，从而无需依赖于在线服务。本教程将循序渐进地指导你如...
-
Stable Diffusion文生图模型训练入门实战（完整代码）
Stable Diffusion 1.5（SD1.5）是由Stability AI在2022年8月22日开源的文生图模型，是SD最经典也是社区最活跃的模型之一。 以SD1.5作为预训练模型，在火影忍者数据集上微调一个火影风格的文生图模型（非Lora方式）...
-
Google 深夜突袭，Gemma 2 狂卷 Llama 3
整理 | Echo Tang 出品丨AI 科技大本营（ID：rgznai100） Google 挤牙膏式的创新真是令人爱恨交织。 早在一个多月前的 Google I/O 上，Google 便官宣将会在未来几周内推出开源模型 Gemma 的第二代 Ge...
-
AIGC技术深度剖析：底层原理及其应用
AIGC技术深度剖析：底层原理及其应用 引言 人工智能生成对话技术（AIGC）是一种能够模拟人类语言表达和生成自然语言响应的技术。它是由AI对话大师调用的聊天生成语言大模型所提供的。本文将深入剖析AIGC技术的底层原理，并探讨它在各个领域的应用。...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
AIGC的图像生成技术【从卷积神经网络到风格迁移】
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
Meta Llama 3 模型与亚马逊 Bedrock 完美融合，释放无限潜能。如何通过SageMaker来部署和运行推理
文章目录 Meta Llama 3模型现在在亚马逊Bedrock上可用 Llama 3 模型 Llama 3 模型的实际应用 什么是 Meta Llama 3 什么是 SageMaker JumpStart 探索型号 部署模型 运行推理 7...
-
扩散模型实战（十一）：剖析Stable Diffusion Pipeline各个组件
推荐阅读列表： 扩散模型实战（一）：基本原理介绍 扩散模型实战（二）：扩散模型的发展 扩散模型实战（三）：扩散模型的应用 扩散模型实战（四）：从零构建扩散模型 扩散模型实战（五）：采样过程 扩散模型实战（六）：Diffusers DDPM初...
-
Apache Flink类型及序列化研读&生产应用｜得物技术
一、背景 序列化是指将数据从内存中的对象序列化为字节流，以便在网络中传输或持久化存储。序列化在Apache Flink中非常重要，因为它涉及到数据传输和状态管理等关键部分。Apache Flink以其独特的方式来处理数据类型以及序列化，这种方式包括它自身...
-
python AI应用之win10本地部署Whisper AI(视频/语音文件自动转字幕)
首先在win10上安装配置python,参考我这个帖子，点此进入 去git官网下载windows 版，安装git！ 点此进入 然后安装whisper和openai-whisper : python -m pip install --upgrad...
-
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 《大模型面试...
-
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的Qwen1.5，Qwen2实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0...
-
AI绘画Stable DIffusion从lora应用到lora训练：看这一篇就够了
大家好，我是程序员晓晓 今天给大家介绍一下如何进行Lora训练，制作自己的电子老婆。 什么是lora？ 在官网的解释说明中：「A LoRA is a type of training method for fine-tuning Stable Di...
-
增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程
Enhancing LLM Accessibility: A Deep Dive into QLoRA Through Fine-tuning Llama 2 on a single AMD GPU — ROCm Blogs 基于之前的博客《使用Lo...
-
【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。 在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的...
-
本地搭建LLaMA-Factory环境进行大模型调优
LLaMA Factory LLaMA Factory快速对大模型进行快速调优，本文看一下如何本地搭建环境并调优，本文使用 ModelScope 社区中的模型，模型在国内，下载速度非常友好。 下载最新代码 ## LLaMA Factory官方 git...
-
用AI制作历史解说视频：GPT + MidJourney + PiKa + FunSound + 剪映
1. 项目介绍 最近某站看到一个看到利用AI创作视频解说，成品画面很酷炫。对此以初学者视角进行复现，创意来源：用AI制作历史解说视频 2. 开始创作 我们参照原作者展示的内容，对古代人物屈原来生成解说视频。 2.1 故事脚本+分镜 【由GP...
-
（5-5-02）金融市场情绪分析：使用Llama 2 大模型实现财经信息的情感分析微调（2）
5.5.4 Llama-2语言模型操作 编写下面的代码，功能是加载、配置 Llama-2 语言模型以及其对应的分词器，准备好模型为后续的对话生成任务做好准备。 model_name = "../input/llama-2/pytorch/7b-h...
-
详解联邦学习中的异构模型集成与协同训练技术
本文分享自华为云社区《联邦学习中的异构模型集成与协同训练技术详解》，作者：Y-StarryDreamer。 引言 随着数据隐私和安全问题的日益突出，传统的集中式机器学习方法面临着巨大的挑战。联邦学习（Federated Learning）作为一种新...
-
养猪大户必备！教你用ModelBox开发一个AI数猪应用
本文分享自华为云社区《ModelBox-视频应用开发：AI智能数猪【玩转华为云】》，作者： 阳光大猫。 一、准备环境 ModelBox端云协同AI开发套件（Windows）环境准备【ModelArts+ModelBox 端云协同AI应用开发实训课程...
-
Llama模型家族之Stanford NLP ReFT源代码探索 （一）数据预干预
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
LLaMA 2 大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLM...
-
AIGC安全与伦理问题【技术挑战与解决方案】
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
[Bug]使用Transformers 微调 Whisper出现版本不兼容的bug
错误的现象 ImportError Traceback (most recent call last <ipython-input-20-6958d7eed552> in ( from transformers...
-
llama 3 震撼来袭 8B 150k 词元 8Ktoken长度 4T token 参与预训练与对齐训练 使用GQA
Meta开发了并发布了Meta Llama 3系列大型语言模型(LLMs ，这是一组在8亿和70亿参数规模下预训练和指令调整的生成文本模型。Llama 3的指令调整模型针对对话用例进行了优化，并在常见的行业基准测试中超越了众多开源聊天模型。在开发这些模型时...
-
AI根据文本语义实现AI绘画出图
引言 当谈到人工智能（AI）和艺术的结合时，我们经常会想到生成对抗网络（GANs）和图像生成。然而，很少有人了解到AI也可以通过文本语义生成绘画作品。在本文中，我将详细介绍如何使用深度学习和自然语言处理技术，使AI能够根据给定的文本语义生成绘画作品。...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
Stable diffusion批量自动化出图
目录 问题背景 问题场景分析 批量文生图 批量图生图 Comfyui自动化 问题背景 现在有一批提示词，想通过文生图，针对每个提示词生成多张效果图，然后对效果图经过图生图、ControlNet的...
-
为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)
文章目录 前言 一、数据来源的选择 (一 、开源数据集 1. 存在的问题 2. 解决方案 (二 、自定义数据集 网络爬虫 用户生成内容 法律咨询 阶段成果展示 前言 在人工智能和自然语言处理领域，生成式预训练模型（如G...
-
Diffusion Model原理及Stable Diffusion
什么是扩散（diffusion）？ 扩散一词来自非平衡热力学（non-equilibrium thermodynamics），在非平衡热力学中扩散过程指的是：“在浓度梯度的驱动下，颗粒或分子从高浓度区域移动到低浓度区域。” 什么是扩散模型（di...
-
Stable Diffusion | Gradio界面设计及API调用
Stability AI 2024年2月发布了 Stable Cascade 模型，但由于该模型较大（fp32格式的 Stage_A + Stage_B + Stage_C 模型超过20GB，ComfyUI 专用 Stage_B + Stage_C 模型也...
-
ChatGPT开源的whisper音频生成字幕
1、前言 好了，那接下来看一下whisper开源库的介绍 有五种模型大小，其中四种仅支持英语，提供速度和准确性的权衡。上面便是可用模型的名称、大致的内存需求和相对速度。如果是英文版的语音，直接想转换为英文。 本来我是想直接在我...
-
LLaMA-Factory微调多模态大语言模型教程
本文旨在结合笔者自身的实践经历，详细介绍如何使用 LLaMA-Factory 来微调多模态大语言模型。目前仓库已支持若干流行的MLLM比如LLaVA-1.5，Yi-VL，Paligemma等。 2024.5.29 注：本文后续不再更新，如果想了解更新的特...
-
AIGC技术的未来航向：深度解析与Java实践
摘要： 本文深入探讨了人工智能生成内容（AIGC）技术的未来发展方向，从技术创新、可持续可拓展性、用户体验、应用场景、政府赋能等多维度进行分析，并结合Java技术实践，提供具体的实现策略和代码示例。 引言：AIGC技术的兴起与前景 在数字化时代，内...
-
AIGC笔记--Stable Diffusion源码剖析之UNetModel
1--前言 以论文《High-Resolution Image Synthesis with Latent Diffusion Models》 开源的项目为例，剖析Stable Diffusion经典组成部分，巩固学习加深印象。...
-
Stable Diffusion教程|SD WebUI必备插件安装 菜鸟轻松成高手
一个刚学AI绘画的小菜鸟怎么快速成为Stable Diffusionde的高手？答案就是SD插件，只要学会使用SD的各种插件，帮你写正向和负向提示词，修复人脸/身体/手指，高清放大图片，指定人物pose，图片微调等等都可以轻松搞定，善用插件是成为高手必经之...
-
在Windows上用Llama Factory微调Llama 3的基本操作
这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme：GitHub - hiyouga/LLaMA-Factory: U...