-
大模型文档神器：合合信息大模型加速器
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战
目录 一、引言 二、模型简介 2.1 Gemma2概述 2.2 Gemma2 模型架构 三、训练与推理 3.1 Gemma2 模型训练 3.1.1 下载基座模型 3.1.2 导入依赖库 3.1.3 量化配置 3.1.4 分词器和模型实...
-
最强开源模型 Llama 3.1 部署推理微调实战大全
目录 引言 一、Llama 3.1简介 二、Llama 3.1性能评估 三、Llama 3.1模型推理实战 1、环境准备 2、安装依赖 3、模型下载 4、模型推理 四、Llama 3.1模型微调实战 1、数据集准备 2、导入依赖包 3、读...
-
SpringBoot配置文件高级用法实战
❃博主首页 ： 「码到三十五」 ，同名公众号 :「码到三十五」，wx号 : 「liwu0213」 ☠博主专栏 ： <mysql高手> <elasticsearch高手> <源码解...
-
体验 Whisper ，本地离线部署自己的 ASR 语音识别服务
需求背景 最近看视频，过几天后经常忘记内容，所以有了把重点内容总结提炼到自己知识库的需求，这涉及到了提取视频中的音频数据、离线语音识别等功能。 提取视频中的音频数据，可以使用格式工厂或 FFmpeg 等工具， FFmpeg 可以使用命令 ffmpeg...
-
java集成stable diffusion
在Java中直接集成Stable Diffusion模型(一个用于文本到图像生成的深度学习模型，通常基于PyTorch或TensorFlow 是非常具有挑战性的，因为Java本身并不直接支持深度学习模型的运行。不过，我们可以通过JN...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记--切记我是一个温柔的刀客
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记 作者: 福州大学 切记我是一个温柔的刀客 2024/8/10 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活...
-
【04】LLaMA-Factory微调大模型——数据准备
在上文【03】LLaMA-Factory微调大模型——多模型部署中完成了Qwen2、GLM-4、LLaMA3-8B-Chinese-Chat三个模型的部署，本文则进行数据准备，为后续的微调模型提供高质量、格式规范的数据支撑。 一、数据格式 LLaMA-...
-
LLaMA-Factory 大模型微调超简单，从零开始玩转大模型微调
目录 LLaMA-Factory 大模型微调超简单，从零开始开始玩转大模型微调 为什么要使用LLaMA-Factory进行微调？ 如何使用LLaMA-Factory进行微调？ 安装 启动 数据准备 Alpaca 格式 指令监督微调数据集...
-
Datawhale X 魔搭 AI夏令营第四期 | AIGC文生图——可图Kolors-LoRA风格故事 Task1笔记
Hi，大家好，我是半亩花海。最近在尝试学习AIGC的内容，并报名参加了Datawhale举办的2024年AI第四期夏令营，主要学习内容是从零入门AI生图原理和实践。本次活动基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”进而开展的项目实践学习，很适...
-
如何使用 Llama 3 构建本地文件生成式搜索引擎（附源码&文档）
系统设计 为了构建一个本地生成式搜索引擎或助手，我们需要几个组建： 包含本地文件内容的索引，具有信息检索引擎，用于检索给定查询/问题的最相关文档。 大语言模型，用于从本地文档中选择内容并生成摘要答案 一个用户界面 这些组件的交互方式如下...
-
【震撼来袭】Flux横空出世，吊打Midjourney，重塑AI艺术创作新格局！（附保姆级部署教程）
目录 一、Flux介绍 二、ComfyUI本地电脑部署 2.1、Flux模型下载 2.2、Clip模型下载 2.3、VAE模型 2.4、更新ComfyUI 2.5、导入工作流并进行测试 2.6、云服务部署并体验 一、Flux介绍...
-
基于Python+Django+Vue+Mysql前后端分离的图书管理系统
利用空闲休息时间开始自己写了一套图书管理系统。现将源码开源，项目遇到问题 Python+Django+Vue图书管理系统开发全流程 大家好，我是程序员科科，这是我开源的基于Python+Django+Vue的图书管理系统 希望可以帮助想学前后端分离的...
-
springboot 项目整合 AI (文心一言）
百度智能云网址：https://cloud.baidu.com/?from=console 注册——个人认证——登录成功 第一步：点击千帆大模型平台 第二步：点击应用接入——创建应用 第三步：点击接口文档——API列表——可以点击指定模...
-
Datawhale X 魔搭 AI夏令营 第四期魔搭-AIGC文生图方向Task1笔记
（赛题链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛） （学习链接：从零入门AI生图原理&实践） 速通指南 ...
-
微调 Whisper 语音大模型
1.准备环境 #创建环境 conda create -n whisper python=3.10 -y source activate whisper #安装环境 conda install pytorch==2.1.0...
-
基于树莓派的智能家居中控系统：集成Flask、HTML、JavaScript与MQTT协议的文心一言AI接入（代码示例）
一、项目概述 随着智能家居技术的快速发展，越来越多的用户希望通过智能设备提升家居生活的便利性和智能化水平。本项目旨在搭建一个基于树莓派的AI接入文心一言智能家居中控系统。该系统能够根据AI获取的实时数据（如天气、温度、湿度等）自动控制家居设备，并支持用户...
-
【AIGC】文心一言大模型使用教程：从入门到精通
引言 文心一言，作为百度强大的自然语言处理大模型，凭借其深厚的语言理解和生成能力，在文本创作、问答系统、智能客服等多个领域展现出巨大的潜力。本教程旨在帮助初学者及进阶用户全面了解文心一言大模型，掌握其调用方法、使用技巧，并通过实际案例提升使用效率。 一...
-
大模型实操与API调用 | 十七、百度文心一言API申请与使用指南
百度文心一言是百度智能云推出的一款具有深度语义理解与生成能力的大语言模型。它广泛应用于文学创作、商业文案创作、数理逻辑推算等多个领域。本文将引导你如何一步步申请和使用文心一言API。 一、准备工作 1）注册百度智能云账号 访问 百度智能云官网...
-
【项目记录】LLaMA-Factory + ModelScope 指令监督微调
LLaMA-Factory是大模型微调框架，内部集成了多种微调方法，可以直接调用。 具体做法可以从官方github上找到：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md...
-
Llama 3.1 模型：从部署到微调的全方位应用手册
在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术进步的关键力量。随着Meta公司最新开源的Llama 3.1模型的问世，我们见证了开源AI领域的一大飞跃。Llama 3.1以其卓越的性能和广泛的应用潜力，为开发者和研究者提供了一个强大的工具，以探...
-
基于Whisper+SparkAI+Pyttsx3实现全流程免费的语音交互
实现前后端语音交互的Demo 在现代Web应用中，语音交互越来越受到关注。它不仅能提升用户体验，还能为特定人群提供更多便利。本文将介绍如何实现一个前后端语音交互的Demo，涵盖音频录制、语音识别、语言模型生成回复和语音合成等步骤。 文章目录...
-
llama_fastertransformer对话问答算法模型
LLAMA 论文 https://arxiv.org/pdf/2302.13971.pdf 模型结构 LLAMA网络基于 Transformer 架构。提出了各种改进，并用于不同的模型，例如 PaLM。以下是与原始架构的主要区别： 预归一化。为了提高...
-
Llama-2 vs. Llama-3：利用微型基准测试（井字游戏）评估大模型
编者按： 如何更好地评估和比较不同版本的大语言模型？传统的学术基准测试固然重要，但往往难以全面反映模型在实际应用场景中的表现。在此背景下，本文作者别出心裁，通过让 Llama-2 和 Llama-3 模型进行井字游戏对决，为我们提供了一个新颖而有趣的模型评...
-
苹果AI后台提示词曝光，工程师：别幻觉！别捏造事实！
苹果AI（Apple Intelligence）还没有正式到来，后台的提示词却意外曝光了。 事情是这样的。 上周苹果不是刚发布了包含生成式AI的开发者测试版本嘛，然后就有位开发者在茫茫文件夹里发现了个不得了的东西—— MacOS15.1Beta1里面，有疑...
-
基于C#调用文心一言大模型制作桌面软件(可改装接口)
目录 开发前的准备 账号注册 应用创建 应用接入 开始开发 创建项目 设计界面 使用 AK，SK 生成鉴权签名 窗体代码 百度智能云千帆大模型平台 什么是百度智能云千帆大模型平台 模型更新记录 开发前的准备 账号注册...
-
免费的几个采集软件推荐
在当今信息爆炸的时代，获取大量有价值的文章内容对于学术研究、行业分析或者个人兴趣爱好者来说至关重要。为了满足用户的需求，市场上涌现出许多采集软件，以帮助用户批量下载网站中的文章内容。本文将专心分享并正式介绍5个免费的采集软件，其中包括了强大的147免费采集...
-
快速体验LLaMA-Factory 私有化部署和高效微调Llama3模型（曙光超算互联网平台异构加速卡DCU）
序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，私有化部署Llama3模型，并对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。 快速体验基础版本，...
-
llama-cpp-python
文章目录 一、关于 llama-cpp-python 二、安装 安装配置 支持的后端 Windows 笔记 MacOS笔记 升级和重新安装 三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成...
-
AIGC专栏14——ComfyUI秋叶包+EasyAnimate 本地快速拉起
AIGC专栏14——ComfyUI秋叶包+EasyAnimate 本地快速拉起 学习前言 什么是ComfyUI 相关地址汇总 ComfyUI秋叶整合包下载地址 EasyAnimateV3下载地址 操作流程 下载与解压 权重下载 打开Com...
-
AI绘画 | 只要10步让你在英特尔A770显卡下安装ComfyUI运行StableDiffusion3最新开源模型
安装所需文件和模型已经打包好了，提前下载。SD3模型有点大，10G左右 本教程安装所需文件：https://pan.quark.cn/s/d6b9c8d4ca27 SD3模型：https://pan.quark.cn/s/037ae37f1884 ...
-
Llama 3 图片理解能力微调（XTuner+LLaVA 版）实践笔记
基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。 环境、模型、数据准备 conda create -n llama3 python=3....
-
使用Claude 3.5 Sonnet和Stable Diffusion XL：如何通过Amazon Bedrock不断优化图像生成直到满足需求
在Amazon Bedrock的AI模型中，Anthropic Claude 3系列现在新增了图像识别功能。特别是最新的Anthropic Claude 3.5 Sonnet，图像识别能力得到了显著提升。我进行了一些简单的试验和比较，深入探索了这些Clau...
-
175道Docker面试题（上）
目录 1、什么是docker？ 2、Docker与普通虚拟机的对比： 3、Docker常用命令： 4、Docker镜像是什么？ 5、Docker容器是什么？ 6、Docker容器有几种状态？ 7、Dockerfile中最常见的指令是什么？...
-
AIGC-ComfyUI工作流基础篇-入门教程
一、前沿 随着人工智能技术的日益成熟和广泛应用，艺术创作领域正经历着一场革命性的变革。特别是AIGC（人工智能生成内容）技术的崛起，为内容创作提供了前所未有的高效和便捷。在这场变革中，Comfyui作为一款前沿的AI绘画软件，正引领着艺术创作的新潮流。...
-
SenseVoice 实测，阿里开源语音大模型，识别效果和效率优于 Whisper，居然还能检测掌声、笑声！5分钟带你部署体验
前段时间，带着大家捏了一个对话机器人：手把手带你搭建一个语音对话机器人，5分钟定制个人AI小助手（新手入门篇） 其中语音识别（ASR）方案，采用的是阿里开源的 FunASR，这刚不久，阿里又开源了一个更强的音频基础模型，该模型具有如下能力： 语音识别...
-
LLama-Factory使用教程
本文是github项目llama-factory的使用教程 注意，最新的llama-factory的github中训练模型中，涉及到本文中的操作全部使用了.yaml配置。 新的.yaml的方式很简洁但不太直观，本质上是一样的。新的readme中的.yam...
-
LLMs之Llama 3.1：Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama 3.1：Llama 3.1的简介、安装和使用方法、案例应用之详细攻略 导读：2024年7月23日，Meta重磅推出Llama 3.1。本篇文章主要提到了Meta推出的Llama 3.1自然语言生成模型。 >>...
-
使用LLaMA-Factory对Llama3-8B-Chinese-Chat进行微调
文章目录 模型及数据： 模型下载 数据 LLaMA-Factory启动 拉取代码 启动webui 模型训练 数据导入 数据预览 设置模型路径 配置参数及参数的保存 开始训练 过程观察 加载模型、对话 模型导出、再次加载...
-
whisper-api语音识别语音翻译高性能兼容openai接口协议的开源项目
whisper-api 介绍 使用openai的开源项目winsper语音识别开源模型封装成openai chatgpt兼容接口 软件架构 使用uvicorn、fastapi、openai-whisper等开源库实现高性能接口 更多介绍 h...
-
微信小程序调用文心一言数据模型
微信小程序调用文心一言数据模型 目录 微信小程序调用文心一言数据模型 1.百度千帆大模型平台介绍 2.调用模型程序实现 1.百度千帆大模型平台介绍 调用： 首先要与数据模型API的地址建立连接，利用微信自带api-wx.reques...
-
AIGC实战：LLaMA2打造中文写作利器——数据准备与模型训练全攻略
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2...
-
Unsloth 微调 Llama 3
本文参考：https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/det...
-
手把手教你用聆思CSK6大模型开发板接入文心一言/千帆大模型
前言 多模态交互离不开硬件载体，近期有不少开发者在研究大模型开发板除了使用出厂示例自带的星火大模型，能不能接入文心一言、通义千问、豆包、智谱glm、kimi等国内的大模型，这个是必须支持的。但由于各家接口和数据格式不一样，有些朋友直接参考...
-
音频转文字哪家强？faster-whisper还是paddlespeech,我的折腾吐槽记录
前言 作为一个魔武双修的python程序员，面对产品小姐姐提出的需求。我只能迎难而上。 目前开源的音频转文字都有哪些？效果如何？速度怎么样？带着这一连串的问题，我在github的海洋里畅游良久。接下来我把我的发现都记录如下。 1. paddles...
-
hunyuandit_pytorch AIGC 以文生图模型
HunyuanDiT 论文 Hunyuan-DiT : A Powerful Multi-Resolution Diffusion Transformer with Fine-Grained Chinese Understanding https:/...
-
函数调用：在 xLAM 上微调 Llama 3得益于 QLoRA，速度快且内存高效
欢迎来到雲闪世界.最近的大型语言模型 (LLM 在大多数语言生成任务中都表现出色。然而，由于它们基于下一个标记预测进行操作，因此它们通常难以准确执行数学运算。此外...
-
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
编者注：之前一直用firefly做微调，最近切换到LLaMA-Factory，发现不但简单易用，而且非常全面，有点相见恨晚的感觉。使用过程中我主要参考2个文档，一个是github上的官方中文文档： https://github.com/hiyouga/L...
-
ChatGLM3-6B使用lora微调实体抽取，工具LLaMA-Factory，医学数据集CMeEE
一、下载ChatGLM3-6B 下载地址，需要魔法 测试模型： 新建文件predict.py。运行下面测试代码。建议这里的transformers包最好和LLaMA-Factory环境的transformers包版本保持一致或者直接用LLaMA-Fa...
-
LoRA6~Stable Diffusion
这里说LoRA 在 Stable Diffusion 中的三种应用 LoRA 是当今深度学习领域中常见的技术。对于 SD，LoRA 则是能够编辑单幅图片、调整整体画风，或者是通过修改训练目标来实现更强大的功能。LoRA 的原理非常简单，它其实就是用两个参...