-
AIGC实战：LLaMA2打造中文写作利器——数据准备与模型训练全攻略
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2...
-
Unsloth 微调 Llama 3
本文参考：https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/det...
-
手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型
前言 多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考...
-
音频转文字哪家强？faster-whisper还是paddlespeech,我的折腾吐槽记录
前言 作为一个魔武双修的python程序员，面对产品小姐姐提出的需求。我只能迎难而上。 目前开源的音频转文字都有哪些？效果如何？速度怎么样？带着这一连串的问题，我在github的海洋里畅游良久。接下来我把我的发现都记录如下。 1. paddles...
-
hunyuandit_pytorch AIGC 以文生图模型
HunyuanDiT 论文 Hunyuan-DiT : A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding https:/...
-
函数调用：在 xLAM 上微调 Llama 3得益于 QLoRA，速度快且内存高效
欢迎来到雲闪世界.最近的大型语言模型 (LLM 在大多数语言生成任务中都表现出色。然而，由于它们基于下一个标记预测进行操作，因此它们通常难以准确执行数学运算。此外...
-
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
编者注：之前一直用firefly做微调，最近切换到LLaMA-Factory，发现不但简单易用，而且非常全面，有点相见恨晚的感觉。使用过程中我主要参考2个文档，一个是github上的官方中文文档： https://github.com/hiyouga/L...
-
ChatGLM3-6B使用lora微调实体抽取，工具LLaMA-Factory，医学数据集CMeEE
一、下载ChatGLM3-6B 下载地址，需要魔法 测试模型： 新建文件predict.py。运行下面测试代码。建议这里的transformers包最好和LLaMA-Factory环境的transformers包版本保持一致或者直接用LLaMA-Fa...
-
LoRA6~Stable Diffusion
这里说LoRA 在 Stable Diffusion 中的三种应用 LoRA 是当今深度学习领域中常见的技术。对于 SD，LoRA 则是能够编辑单幅图片、调整整体画风，或者是通过修改训练目标来实现更强大的功能。LoRA 的原理非常简单，它其实就是用两个参...
-
python系列&deep_study系列：实战whisper第三天：fast whisper 语音识别服务器部署，可远程访问，可商业化部署（全部代码和详细部署步骤）
实战whisper第三天：fast whisper 语音识别服务器部署，可远程访问，可商业化部署（全部代码和详细部署步骤） 实战whisper第三天：fast whisper 语音识别服务器部署，可远程访问，可商业化部署（全部代码和详细部署步骤...
-
探究AIGC的底层逻辑：从技术到应用的全面解析
目录 探究AIGC的底层逻辑：从技术到应用的全面解析 技术原理 使用方法 最佳实践和注意事项 结论 探究AIGC的底层逻辑：从技术到应用的全面解析 在人工智能领域，AIGC（AI对话大师）是一种语言生成模型，由OpenAI开发并用于构建...
-
使用LLaMA-Factory微调大模型
使用LLaMA-Factory微调大模型 github 地址https://github.com/hiyouga/LLaMA-Factory 搭建环境 git clone --depth 1 https://github.com/hiyouga/...
-
LLaMa-Factory微调chatglm3实战
文章目录 算力机器准备 LLMa-Factory环境搭建 克隆项目 创建环境（可省略） 遇到问题 解决方法 安装依赖 启动web UI页面 设置代理（本地浏览器访问） 下载模型 准备数据集 微调 加载新模型 成果测试 算力机...
-
自动炼丹基于Llama-factory改写--学习记录
最近在使用llama-factory微调LLM，但是一个个手动修改基本的学习率，学习轮次有太麻烦了。在寻找有没有什么自动调参的办法，在github上看到Llama-factory支持Weights & Biases 记录实验数据自动微调，尝试了一下...
-
Spring Boot实战：无缝对接文心一言
Spring Boot实战：无缝对接文心一言 引言 在快速迭代的软件开发领域，集成高效、智能的服务已成为提升应用竞争力的关键。Spring Boot以其简洁、快速的开发方式，成为构建企业级应用的热门选择。而文心一言，作为百度推出的大语言模型，以其高...
-
【小沐学AI】Python实现语音识别（whisper+HuggingFace）
文章目录 1、简介 1.1 whisper 2、HuggingFace 2.1 安装transformers 2.2 Pipeline 简介 2.3 Tasks 简介 2.3.1 sentiment-analysis 2.3.2 zero-...
-
百度大模型文心一言api 请求错误码 一览表
错误码说明 千帆大模型平台API包含两类，分别为大模型能力API和大模型平台管控API，具体细分如下： 大模型能力API 对话Chat 续写Completions 向量Embeddings 图像Images 大模型平台管控API...
-
AFAC2024-基于保险条款的问答 比赛日记 llamafactory qwen npu 910B1
AFAC2024: 基于保险条款的问答挑战——我的实战日记 概述 在最近的AFAC2024竞赛中，我参与了基于保险条款的问答赛道。这是一次深度学习与自然语言处理的实战演练，旨在提升模型在复杂保险文本理解与问答生成方面的能力。本文将分享我的参赛过程，...
-
Python爬虫从入门到应用（超全讲解）
目录 前言 1. 基本知识 2. HTTP请求和相应 2.1 HTTP请求 2.2 HTTP响应 3. request库 4. HTML解析 4.1 find( 和 find_all( 4.2 get_text( 4.3 selec...
-
【stable diffusion】ComfyUI扩展安装以及”127.0.0.1拒绝了我们的连接请求“解决记录
目录 扩展安装 ”127.0.0.1拒绝了我们的连接请求“解决记录 操作1 操作2 操作3 操作4 总结 扩展安装 虽然大家都推荐将扩展包直接放到extension文件夹的...
-
【内网穿透】如何本地搭建Whisper语音识别模型并配置公网地址
个人名片 ?作者简介：java领域优质创作者 ?个人主页：码农阿豪 ?工作室：新空间代码工作室（提供各种软件服务） ?个人邮箱：[2435024119@qq.com] ?个人微信：15279484656 ?个人导航网站：www.forff.top ?座右铭...
-
Streaming local LLM with FastAPI, Llama.cpp and Langchain
题意： 使用FastAPI、Llama.cpp和Langchain流式传输本地大型语言模型 问题背景： I have setup FastAPI with Llama.cpp and Langchain. Now I want to enable...
-
微软 Phi-3.1 Mini (3.8B)：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2）
微软 Phi-3.1 Mini (3.8B ：刚刚进行了疯狂升级（击败 Llama-3 和 Qwen2） 原创 Aitrainee AI进修生 2024年07月06日 15:16 湖南 Aitrainee | 公众号：AI进修生 ?这...
-
AIGC爬虫实战（一）
前言 传统的网络爬虫系统效率较低且难以应对复杂多变的网页环境 基于AIGC技术的智能化爬虫,则可以大幅提升爬虫的自主性和适应性,从而更高效地完成网络数据的采集和分析任务 本文将通过一系列实战案例,深入探讨AIGC技术在网络爬虫开发中的具体应用...
-
Java集成stable diffusion 的方法
在Java中直接集成Stable Diffusion模型（一个用于文本到图像生成的深度学习模型，通常基于PyTorch或TensorFlow）是非常具有挑战性的，因为Java本身并不直接支持深度学习模型的运行。不过，我们可以通过JNI（Java Nativ...
-
推荐8款超实用的ComfyUI绘画插件，帮助我们的AI绘画质量和效率提升几个档次！
前言 大家在使用SD绘画过程中，想必见识到了插件的强大功能，本身纯净版的SD界面是相对简洁的，但是搭配了各种插件后，界面标签栏会增加很多，相应的功能也增加了。 从简单的中文界面翻译插件，到强大的controlnet图形控制插件，都极大的方便了使用者，...
-
未来已来：为TARS机器人搭载文心一言AI大模型的完整开发流程
集成百度文心一言（Ernie Bot）的步骤类似于集成ChatGPT。下面是集成文心一言的大模型的详细开发思路： 1. 确定项目需求和目标 明确项目需求和目标，包括： 机器人需要具备的功能 需要处理的主要任务和场景 用户群体 系统性能指标和可扩展性...
-
零代码教你安装部署Stable Diffusion 3，一键生成高质量图像
本文分享自华为云社区《重磅！【支持中文】stable-diffusion-3安装部署教程-SD3 来了》，作者：码上开花_Lancer。 正如承诺的那样，Stability AI在6月12日正式开源了Stable Diffusion 3（Medium版本...
-
LLaMA-Factory在华为显卡上的实验记录
如何判断目前所选择的模型是否支持 LLaMA-Factory/src/llamafactory/data/template.py 在项目的这个地址中会有不同模型的支持模版。 这里用目前我最常用的两个模型举例子 一个是智谱的glm4-9B模型 _regi...
-
自定义 LLM：LangChain与文心一言擦出火花
自定义 LLM 自定义 LLM 需要实现以下必要的函数： _call ：它需要接受一个字符串、可选的停用词，并返回一个字符串。 它还可以实现第二个可选的函数： _identifying_params ：用于帮助打印 LLM 信息。该函数应该返回...
-
Fastgpt接入Whisper本地模型实现语音输入
前言 FastGPT 默认使用了 OpenAI 的 LLM 模型和语音识别模型，如果想要私有化部署的话，可以使用openai 开源模型Whisper。参考文章 《openai 开源模型Whisper语音转文本模型下载使用》 开源项目地址 ： 兼容op...
-
[AI 大模型] 百度 文心一言
文章目录 [AI 大模型] 百度 文心一言 简介 模型架构 发展 新技术和优势 API 代码示例 [AI 大模型] 百度 文心一言 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0DwAIh0...
-
百度智能云升级：接入33个大模型，Llama 2引领创新，103个Prompt模板上线
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业...
-
JS逆向批改网实现自动提交作文 调用文心一言API自动生成作文
前天熬了个大夜，下午一点才起，一听到舍友说又要写那个恶心的批改网，气得我直接写了个脚本自动把所有未完成的作文秒杀，话不多说直接开始分析。 一.登陆前的cookies处理 清空网站的所有本地存储，会话存储和cookies，并刷新 可以看到多出了两个...
-
anytext_pytorch AIGC 可以用于生成多语言文字图像算法模型
AnyText 论文 AnyText: Multilingual Visual Text Generation And Editing https://arxiv.org/abs/2311.03054 模型结构 模型由4部分构成，分别是Auxili...
-
llama-factory学习使用笔记
想要对开源的llama大模型，针对自己的数据进行微调，这里推荐llama-factory项目，LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问...
-
一款基于百度文心一言的商品评论智能回复Chrome插件
一、引言 在上次小弟发布了一款基于openai大模型的Chrome网页插件后，有许多朋友向我提意见，表示这个插件需要翻墙，对于真正的小白还是有些不友好。因此这次我花了两个通宵，完成了一款基于百度文心一言大模型的网页插件的创作。本文将以作为一款商品评论的智...
-
unity 接入百度API——AI作画
完整代码下载地址：https://download.csdn.net/download/weixin_43703390/89179785 打不开就是还在审核中… 账号注册创建模块： 1.打开百度智能云官网:[https://cloud.baidu.c...
-
SpringBootWeb 篇-深入了解会话技术与会话跟踪三种技术（Cookie 会话跟踪、Session 会话跟踪与 JWT 令牌会话跟踪）
?博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞?收藏⭐评论✍ 文章目录 1.0 会话技术 2.0 会话跟踪 2.1 会话跟踪 - Cookie 2.1.1 客户端...
-
Llama-factory源码详细解读
微调 采用逐行调试的方法，细节来看SFT代码 AutoModelForCausalLM...
-
LLAma-Factory框架详细使用方法-0.8.3版本
一、安装 LLaMA Factory git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git #拉取代码到本地 cd LLaMA-Factory #进入...
-
Python爬虫入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
初学Python之爬虫的简单入门 一、什么是爬虫？ 1.简单介绍爬虫 爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。 网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，...
-
使用LlamaFactory进行模型微调：参数详解
在深度学习和自然语言处理领域，模型微调是提升预训练模型性能的重要手段。本文将介绍如何使用LlamaFactory进行模型微调，并详细解析一些关键参数，包括 --cutoff_len 1024、--flash_attn auto、--lora_rank 8、...
-
[大模型]Llama-3-8B-Instruct FastApi 部署调用
环境准备 在 Autodl 平台中租赁一个 3090 等 24G 显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04 -->12.1。 接下来打开刚刚租用服务器的 JupyterL...
-
Llama 3 模型微调的步骤
环境准备 操作系统：Ubuntu 22.04.5 LTS Anaconda3：Miniconda3-latest-Linux-x86_64 GPU： NVIDIA GeForce RTX 4090 24G Step 1. 准备conda环境 创...
-
Stable Diffusion ControlNet OpenPose | 以后出图姿势自由了！
接着进阶篇，前面我们学习了如何使用 ControlNet 的姿势约束，通过姿势约束控制出图的人物姿势和原图一致。 [ 但有的时候我们不仅仅是需要想要和原图姿势一致，还需要调整人物的姿势，想要实现这种功能按照之前学习的内容就只能通过不断的调整提示词来控制...
-
AI绘画Stable diffusion的SDXL模型超详细讲解，针不错！（含实操教程）
大家好，我是画画的小强 朋友们好，今天分享的是Stable diffusion的SDXL模型以及相关实操。 与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式： 以往SD1.5大模型，生成步骤为 Prompt → Ba...
-
python爬虫入门，10分钟就够了，这可能是我见过最简单的基础教学
一、基础入门 1.1什么是爬虫 爬虫(spider，又网络爬虫 ，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。 从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）...
-
LLama-Factory大模型训练框架，基于自己数据集微调qwen7B模型实战
一，项目简介 LLama-Factory，大模型训练框架，支持多种模型，多种训练方式， 项目github地址：link 项目特色 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baic...
-
【吐血整理】8款超实用的【Stable Diffusion】 ComfyUI绘画插件，帮助我们的AI绘画质量和效率提升几个档次！
大家在使用SD绘画过程中，想必见识到了插件的强大功能，本身纯净版的SD界面是相对简洁的，但是搭配了各种插件后，界面标签栏会增加很多，相应的功能也增加了。 从简单的中文界面翻译插件，到强大的controlnet图形控制插件，都极大的方便了使用者，也弥补了S...