-
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 文章目录 用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 什么是模型微调？ 为什么使用 LLama-Fact...
-
[AIGC] 使用Flink SQL统计用户年龄和兴趣爱好
Apache Flink是一个具有强大计算能力、高吞吐量、低延迟的分布式计算框架，它支持批计算和流计算。Flink SQL是Flink ecosystem的一部分，是一种对结构化数据进行批和流处理的声明式语言。本文以一个简单的实例讲解如何使用Flink S...
-
基于LLaMA-Factory微调Llama3
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程 环境配置 # 1. 安装py3.10虚拟环境 conda create -n py3.10-torch2.2 python=3.10 source activate c...
-
【大模型应用开发极简入门】微调（一）：1.微调基础原理介绍、2. 微调的步骤、3. 微调的应用（Copilot、邮件、法律文本分析等）
文章目录 一. 开始微调 1. 选择合适的基础模型 2. 微调和少样本学习 2.1. 对比微调和少样本学习 2.2. 微调需要的数据量 二. 使用OpenAI API进行微调 1. 数据生成 1.1. JSONL的数据格式 1.2....
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
国内如何申请 Midjourney API （mj接口），一次教会你
众所周知Midjourney 并未提供API接口服务，那要如何才能使用Midjourney 的接口呢？通过千搜万搜终于让我找到一个这种平台，同时支持 Mid journey proxy Plus 以及 Mid journey proxy 接口协议，基本支持...
-
Llama 3超级课堂作业笔记
文章目录 基础作业 完成 Llama 3 Web Demo 部署 环境配置 下载模型 Web Demo 部署 对话截图 使用 XTuner 完成小助手认知微调 Web Demo 部署 自我认知训练数据集准备 训练模型 推理验证 使用...
-
文心一言API使用教程（python版）
注：在做项目的时候需要调用文心一言，发现网上的版本很乱，基本都止步在官方文档的代码上，所以写了一篇博客来记录自己的尝试实现了对文心一言的循环调用和自定义询问，本篇文章不需要有任何对api的基础知识，代码全部成功运行，并引用官方文档，祝大家成功实现自己的调用...
-
使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序
文章目录 使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序 Llama 2-70B-聊天 LlamaIndex 解决方案概述 先决条件 使用 SageMaker JumpStart 部署 GPT-J 嵌...
-
大模型之路3：趟到了Llama-Factory，大神们请指点
各种AI工具和框架层出不穷，为开发者和研究者提供了前所未有的便利。当然了，也有困扰。尤其是对于动手能力越来越弱的中年油腻老程序员来说，更是难上加难。据说，嗯，据师弟说，说LlamaFactory凭借其独特的功能和优势，在AI领域（他所下载的代码和工具里），...
-
【全网瞩目】最强文生图模型，Stable Diffusion 3技术报告解禁
12号，终于在Hugging Face上出现了 Stable Diffusion 3 Medium。没错，正如他所承诺的，最强文生图模型真的开源了。而且此次开源不仅是以SD2的比较下性能得到了更好的升级，同时也向我们展示了最前沿的DiT技术——MMDiT。...
-
利用Python与Whisper革新视频翻译：打造高精度字幕翻译流程。
实现流程需要使用以下的工具。 1.python,需要自行安装， 2.python的音视频处理库moviepy安装 pip install moviepy 3.Whisper语音识别，在我之前的文章中有：Whisper语音识别安装教程。 4.文字翻...
-
政安晨【零基础玩转各类开源AI项目】：在Kaggle上部署使用Stable Diffusion
目录 简述 开始 配置 执行 安装完毕，一键运行 结果展示 政安晨的个人主页：政安晨 欢迎 ?点赞✍评论⭐收藏 收录专栏: 零基础玩转各类开源AI项目 希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指...
-
llama-factory-0.7.0微调llama3-8B-Instruct-262k
1.摘要 用llama-factory-0.7.0微调Llama-3-8B-Instruct-262k,微调数据是1.5k的论文审稿。 GPU配置是A40. 用llama-factory的0.7.1版本微调Llama-3-8B-Instruct-26...
-
【亚马逊云新春特辑③】构生成式 AI 文生图工具之借助ControlNet进行AI绘画创作【使用OpenPose优化人物二维码】
文章目录 2.1 使用OpenPose优化人物二维码 1）数据及环境准备 2）导入骨架数据并启用OpenPose控制单元 3）导入二维码并生成美化后的二维码图片 2.1 使用OpenPose优化人物二维码 在上一节体验到了使用...
-
新手教程之使用LLaMa-Factory微调LLaMa3
文章目录 为什么要用LLaMa-Factory 什么是LLaMa-Factory LLaMa-Factory环境搭建 微调LLaMA3 参考博文 为什么要用LLaMa-Factory 如果你尝试过微调大模型，你就会知道，大模型的环...
-
【AI】DJL Serving系统架构
DJL Serving基于Deep Java Library构建。您可以访问DJL GitHub仓库了解更多信息。有关模块、依赖关系和类概述,请参考生成的图表。 DJL Serving大致分为四层: 前端 - 基于Netty的HTTP客户端,用于接...
-
midjourney绘画，midjourney api接口国内如何对接
项目背景 众所周知，Midjourney并没有提供任何的Api服务，但是基于Midjourney目前的行业龙头位置，很多企业以及个人会有相关的需求。TTApi平台基于Midjourney现有功能整理出一套完整的可集成性高的服务，如果你有类似的需求，那么恭...
-
五一超级课堂---Llama3-Tutorial（Llama 3 超级课堂）---第三节llama 3图片理解能力微调（xtuner+llava版）
课程文档： https://github.com/SmartFlowAI/Llama3-Tutorial 课程视频： https://space.bilibili.com/3546636263360696/channel/collectiondetail?...
-
百度文心一言API4.0 Python调用ERNIE-4.0-8K详细教程
ERNIE 4.0是百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效，支持5K tokens输入+2K tokens输出。ERNIE-4.0-8K是模...
-
Midjourney Imagine API 申请及使用
Midjourney Imagine API 申请及使用 申请流程 要使用 Midjourney Imagine API，首先可以到 Midjourney Imagine API 页面点击「Acquire」按钮，获取请求所需要的凭证： 如果你尚未...
-
重磅！Stable Diffusion 3.0正式开源！史上最强AI绘画模型！（附安装方法和下载地址）
大家好，我是程序员晓晓 正如承诺的那样，Stability AI在6月12日正式开源了Stable Diffusion 3（Medium版本）！不愧是AI生图领域的“开源英雄”。 接下来就讲讲，怎么在本地部署最新的Stable Diffusion...
-
使用LLaMA-Factory来实现微调ChatGLM-3B
前提：本文是使用阿里云的人工智能PAI平台的交互式建模（DSW）来进行的如下操作 安装LLaMA-Factory # 克隆项目 git clone https://github.com/hiyouga/LLaMA-Factory.git # 安装项目...
-
【腾讯云 HAI域探秘】——即时职场生存指南小游戏以及【自行搭建Stable Diffusion图片AI绘制 ChatGLM2-6B AI进行智能对话 Pytorch2
六、jupyter_lab操作步骤 1、进入jupyter_lab操作页面 操作页面效果 2、面板功能介绍 3、启动服务 命令如下，直接复制并【ctrl+v】即可 cd /root/stable-diffusion-webu...
-
Meta-Llama-3-8B-Instruct本地推理
Meta-Llama-3-8B-Instruct 本地推理 基础环境信息（wsl2安装Ubuntu22.04 + miniconda） 使用miniconda搭建环境 (base :~$ conda create --name pyto...
-
Stable diffusion的SDXL模型，针不错！（含实操）
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式： 以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refin...
-
【V831】智能语音对话：语音识别、文心一言回答、语音合成
1、实验设备 01科技的V831 2、总体概述 按下按键，蓝灯亮起，开始定时录音，录音结束，蓝灯熄灭。接着，通过百度的语音识别API进行语音转文字，得到文字后通过百度的文心一言API进行回答，得到的回答通过百度的语音合成API把回答的文字合成为音...
-
mac安装Stable Diffusion
昨天帮别人安装Stable Diffusion，按照别人的文档设置发现一直报错，最后发现是需要先把模型下载好了放置到模型的文件夹后再运行安装。今天就写下整个安装过程。 1、安装Homebrew 复制到终端直接回车运行如下： /bin/bash -c...
-
springboot+vue项目接入文心一言API
参考文心一言ERNIE-Bot 4.0模型流式和非流式API调用(SpringBoot+OkHttp3+SSE+WebSocket - autunomy - 博客园 (cnblogs.com 后端 引入依赖 <dependency>...
-
Spring Boot后端调用文心一言响应式问答
Spring Boot后端调用文心一言响应式问答 1.获取文心服务 要在我们的后端服务中接入文心一言，就要获取文心的服务，首先我们要进入百度智能云中注册一个账号：https://console.bce.baidu.com/qianfan/ais/...
-
【Python】我的第一个文心一言API调用
文章目录 前言 一、注册百度千帆大模型平台 1、注册账号，注册时按个人或企业选择创建 2、创建应用 3、明确模型收费规则 二、Python调用模型 1、找到对应调用方法 2、查看默认调用文档 3、选择python对应方法 2、标准结果显示...
-
基于Llama 2家族的提示词工程：Llama 2 Chat, Code Llama, Llama Guard
Prompt Engineering with Llama 2 本文是学习 https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/ 的学习笔记。...
-
AI “黏土画风”轻松拿捏，手把手带你云端部署 ComfyUI
作者：鸥弋、筱姜 AI 绘画领域，Stable Diffusion WebUI、Midjourney 、DALL-E 都聚拢了一大批的应用开发者和艺术创作者。ComfyUI 出现时间略晚，但是它让创作者通过工作流的方式，实现自动化水平更高的 AI 生图流...
-
Stable Diffusion | Gradio界面设计及ComfyUI API调用
本文基于ComfyUI API编写了类似于webUI的Gradio交互式界面，支持文生图/图生图（SD1.x，SD2.x，SDXL，Stable Cascade），Lora，ControlNet，图生视频（SVD_xt_1_1），图像修复（FaceDeta...
-
使用Unity 接入 Stable-Diffusion-WebUI的 文生图api 并生成图像
使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像 文章目录 使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像 一、前言 二、具体步骤 1、启动SD的api设置 2、...
-
使用 Amazon SageMaker 微调 Llama 2 模型
本篇文章主要介绍如何使用 Amazon SageMaker 进行 Llama 2 模型微调的示例。 这个示例主要包括: Llama 2 总体介绍 Llama 2 微调介绍 Llama 2 环境设置 Llama 2 微调训练 前言...
-
Stable Diffusion webUI 最全且简单配置指南
Stable Diffusion webUI 配置指南 本博客主要介绍部署Stable Diffusion到本地，生成想要的风格图片。 文章目录 Stable Diffusion webUI 配置指南 1、配置环境 （1）pip环境[...
-
Java对接文心一言
注册千帆大模型 首先就是注册百度的千帆大模型平台，第一次注册会送一张20元的优惠卷，可以用这个先免费用一段时间。 创建应用 目的：获得APIKey和SecretKey 注册以后进入到百度智能云控制台应用接入（百度智能云控制台 (baidu.com ...
-
LLMs之Llama3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3-
LLMs之Llama3：基于Colab平台(免费T4-GPU 利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】 对llama-3-8b-Instruct-bnb-4bit模型采用alpa...
-
[AIGC] 自定义Spring Boot中BigDecimal的序列化方式
在很多场景下，我们需要对BigDecimal类型的数据进行特殊处理，比如保留三位小数。Spring Boot使用Jackson作为默认的JSON序列化工具，我们可以通过自定义Jackson的序列化器（Serializer）来实现，下面将详细介绍实现步骤。...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
(js)通过js批量下载下载所有ChatGPT(文心一言示例)查询后的结果
因工作中需要用到ChatGPT，而gpt查询后的结果只能一个一个复制，查询的条目多的时候就比较麻烦，所以在这记录我的解决方案 一、通过脚本下载结果 以文心一言为例 1.首先是f12或右键查看元素找到对应块的元素 tps：文心一言会打开debug...
-
GitHub Copilot插件登录流程
GitHub OAuth应用有一套流程，用于获取用户的授权信息。这个流程是一个OAuth2的流程，主要分为以下几个步骤： 用户点击登录按钮，触发登录请求。 应用将用户重定向到GitHub的授权页面。 用户授权应用访问其GitHub账号。 GitHub验...
-
Stable Diffusion v3.0 api使用教程
Stable Diffusion v3.0 api使用教程 文章目录 Stable Diffusion v3.0 api使用教程 第一步, 注册API Key 第二步, 运行代码 今天Stable Diffusion v3...
-
llama_index微调BGE模型
微调模型是为了让模型在特殊领域表现良好，帮助其学习到专业术语等。 本文采用llama_index框架微调BGE模型，跑通整个流程，并学习模型微调的方法。 已开源：https://github.com/stay-leave/enhance_llm 一、...
-
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤
排查 stable-diffusion-webui 局域网访问问题：详细解析配置步骤 引言： 在部署 stable-diffusion-webui 后，确保其在局域网内可访问是使用该工具的关键一步。如果您遇到了局域网无法访问的问题，本文将帮助您详细检查...
-
本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）
本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。 函数调用介绍 函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用...
-
llama.cpp运行qwen0.5B
编译llama.cp 参考 下载模型 05b模型下载 转化模型 创建虚拟环境 conda create --prefix=D:\miniconda3\envs\llamacpp python=3.10 conda activate D:...
-
用 LLaMA-Factory 在魔搭微调千问
今天在魔搭上把千问调优跑通了，训练模型现在在 Mac 还不支持，需要用 N 卡才可以，只能弄个N 卡的机器，或者买个云服务器。魔搭可以用几十个小时，但是不太稳定，有的时候会自动停止。 注册账号 直接手机号注册就可以. 找到对应模型 这步可能不需...
-
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器 的简介、安装、使用方法之详细攻略 目录 LlamaIndex的简介 1、LlamaIndex有什么帮助? 2、核心原理 llama-i...