-
“文心一言”的介绍配置安装，基本指令与高级用法
快速上手文心一言指令 文心一言是一个由百度开发的对话式人工智能助手，可以通过指令进行对话和任务执行。本文将详细介绍如何快速上手使用文心一言，包括其安装、基本指令、配置及高级用法。 目录 文心一言简介 安装文心一言 基本使用 3.1 基本指令 3...
-
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
什么是lora微调 LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新，从而减少适配下游任务所需要训练的参数。 环境准备 这次使用到的微调框架是llama-factory。这个框架集成了对多种模型进行各种训练的代码，少...
-
Stable Diffusion 3 开源发布可下载体验
本文来自huggingface翻译 Stable Diffusion 3 Medium是一种多模态扩散变换器 (MMDiT 文本到图像模型，其在图像质量、排版、复杂提示理解和资源效率方面的性能有极大提升。 有关更多技术细节，请参阅研究论文。 请注意：此...
-
使用LLaMA-Factory微调Llama3大模型
一、基础模型下载 本文的背景是微调一个基于Llama3的中文版模型Llama3-8B-Chinese-Chat，用于中文指定领域的问答下游任务 1、HuggingFace官网直接下载 官网地址：https://huggingface.co/mo...
-
从0到1，为ASP.NET Core项目添加redis支持（全程使用copilot编码）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、需求背景 二、询问copilot工作流 1.简单询问 2.细节询问 3.代码定制化 三、最终验证 总结 前言 最近做需求需要用到...
-
Windows系统电脑本地部署语音转文本服务Whisper Web结合cpolar内网穿透远程访问使用
文章目录 前言 1.本地部署Whisper Web 1.1 安装git 1.2 安装Node.js 1.3 运行项目 2. Whisper Web使用介绍 3. 安装Cpolar内网穿透 4. 配置公网地址 5. 公网访问测试 6. 配置固...
-
超简单！用AWS的Bedrock对Llama进行微调
哎，微调？听起来超难的！ 对吧。不过，用Amazon Bedrock的话，其实挺简单的。 Customize models in Amazon Bedrock with your own data using fine-tuning and conti...
-
第二十篇-推荐-纯CPU(E5-2680)推理-llama.cpp-qwen1_5-72b-chat-q4_k_m.gguf
环境 系统：CentOS-7 CPU： Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz 14C28T 内存： 48G DDR3 依赖安装 make --version GNU Make 4.3 gcc --versi...
-
【LLM教程-llama】如何Fine Tuning大语言模型？
今天给大家带来了一篇超级详细的教程,手把手教你如何对大语言模型进行微调(Fine Tuning ！（代码和详细解释放在后文） 目录 大语言模型进行微调(Fine Tuning 需要哪些步骤？ 大语言模型进行微调(Fine Tuning 训练过程及代码...
-
零基础入坑爬虫—Python网络爬虫的应用实战以及数据采集
前言 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 博主今天有个小目标—带领大家正式入坑爬虫！ 想要学习爬虫却一...
-
基于 Paimon 的袋鼠云实时湖仓入湖实战剖析
在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践------ChunJun 融合 Flink CDC、MySQL 一键入...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
Stable Diffusion | ComfyUI API 工作流自动优化
ComfyUI 可直接保存生图工作流为 API 格式，但该 API 格式文本行数较多且节点顺序与逻辑执行顺序不一致，不利于编写或修改 API 的调用代码。 在上一篇文章 Stable Cascade | ComfyUI API 工作流格式优化 中介绍了...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
Python爬虫教程，从入门到成神
文章目录 文末有福利 前言 一、为什么使用Python进行网络爬虫？ 二、判断网站数据是否支持爬取 三、requests 库抓取网站数据 1.如何安装 requests 库 四、爬虫的基本原理 五、使用 GET 方式抓取数据 六、使用 P...
-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
【ComfyUI】Stable Diffusion 3 加Controlnet
基于 instantX-research/diffusers_sd3_control: ? Diffusers: State-of-the-art diffusion models for image and audio generation in PyT...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
android集成百度文心一言实现对话功能，实战项目讲解，人人都能拥有一款ai应用
大家好，今天给大家讲解下如何实现一个基于百度文心一言的app功能，app内部同时集成了讯飞的语音识别。本文适用于有android基础的小伙伴阅读，文章末尾放上本项目用到的全部实例代码，在使用前请务必看完本文章。 先来给大家看看效果。 百度文心一...
-
被AI改造后的meme梗图，已经变成了我看不懂的模样
你知道meme梗图吗? 这个词你可能会听起来有一些陌生，但是如果我放一张图，你一定会心领神会，然后说一声，卧槽，就这玩意啊。 上面的这张著名的黑人问号，就是meme。 它诞生自于希腊词语“Mimema”，通常被解释为“被模仿的想法” 也可以代指为，我们通常...
-
Stable Diffusion 3 大模型文生图实践
windows教程2024年最新Stable Diffusion本地化部署详细攻略，手把手教程（建议收藏!! _stable diffusion 本地部署-CSDN博客 linux本地安装教程 1.前期准备工作 1）创建conda环境 cond...
-
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
目录 一、引言 二、Whisper 模型原理 2.1 模型架构 2.2 语音处理 2.3 文本处理 三、Whisper 模型实战 3.1 环境安装 3.2 模型下载 3.3 模型推理 3.4 完整代码 3.5 模型部署 四、总结...
-
Niantic利用Meta Llama让数字生物栩栩如生
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
百度文心一言 java 支持流式输出，Springboot+ sse的demo
参考：GitHub - mmciel/wenxin-api-java: 百度文心一言Java库，支持问答和对话，支持流式输出和同步输出。提供SpringBoot调用样例。提供拓展能力。 1、依赖 <dependency> <group...
-
AI绘画Stable Diffusion 中 OpenPose骨骼编辑器 | 以后出图姿势自由了！
大家好，我是程序员晓晓 今天要学习使用 ControlNet当中的OpenPose Editor 来调整人物的姿势，从而实现姿势自由！ 一 OpenPose Editor 我们可以将 OpenPose 理解成是对 ControlNet 姿势约束的一...
-
Midjourney如何集成到自己(个人/企业)的平台（三-完结）
前两篇文章写如何注册和配置 Midjourney如何集成到自己(个人/企业 的平台（一） Midjourney如何集成到自己(个人/企业 的平台（二） 这篇文章是完结篇，也是代码篇，本文章内容描述开发语言为Java，使用框架为SpringBoot，废...
-
AIGC专栏11——EasyAnimateV2结构详解与Lora训练 最大支持768x768 144帧视频生成
AIGC专栏11——EasyAnimateV2结构详解与Lora训练 最大支持768x768 144帧视频生成 学习前言 源码下载地址 EasyAnimate V2简介 技术储备 Diffusion Transformer (DiT Mo...
-
Vs使用C++调用文心一言api接口
Vs使用C++调用文心一言api接口 开发环境的选择：visual studio 2022，可以通过visual studio installer进行安装，安装时需要包含组件为“使用C++的桌面开发”（图0-1），需要其它的组件也可以自行下载。 图0-...
-
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 《大模型面试...
-
llama factory 是如何加载数据集 通过对数据集加载的代码的理解编写自定义数据集训练代码
第一层从训练代码追踪到以下代码 def get_dataset( tokenizer: "PreTrainedTokenizer", model_args: "ModelArguments", data_args: "DataAr...
-
12k Star！Continue：Github Copilot 开源本地版、开发效率和隐私保护兼得、丰富功能、LLM全覆盖！
原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！） 12k Star！Continue：Github Copilot 开源本地版、开发效率和隐私保护兼得、丰富功能、LLM全覆盖！ ?开源 VS Code...
-
【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。 在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的...
-
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
前言 近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题 Train 框架 目前好用的框架太多，如BELLE, C...
-
（5-5-02）金融市场情绪分析：使用Llama 2 大模型实现财经信息的情感分析微调（2）
5.5.4 Llama-2语言模型操作 编写下面的代码，功能是加载、配置 Llama-2 语言模型以及其对应的分词器，准备好模型为后续的对话生成任务做好准备。 model_name = "../input/llama-2/pytorch/7b-h...
-
使用 Llama 3 开源和 Elastic 构建 RAG
作者：Rishikesh Radhakrishnan 使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 G...
-
AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)
更为精细的DW openpose https://pan.quark.cn/s/8e66ada8a434 SD启动器2024最新版本下载 链接：https://pan.quark.cn/s/eea6375642fd 百度网盘复制到vx打开: #小程序:...
-
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型 ? 博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。CSDN优质创作者，提供产品测评、学习辅导、...
-
老电脑焕发第二春，玩转 Stable Diffusion 3
几年前，我头脑一热，配置了一台顶配级消费 PC（RTX 2080 Ti GPU + i9 CPU），打算用来学习 AI。然而，起初我并没有找到合适的切入点。深度学习早期阶段，消费级显卡根本无法承担训练大模型、微调大模型，甚至连运行大模型都很吃力。结果...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)
文章目录 前言 一、数据来源的选择 (一 、开源数据集 1. 存在的问题 2. 解决方案 (二 、自定义数据集 网络爬虫 用户生成内容 法律咨询 阶段成果展示 前言 在人工智能和自然语言处理领域，生成式预训练模型（如G...
-
【从零开始AI绘画6】StableDiffusionWebUI拓展的安装方法以及推荐的几个拓展
这里写自定义目录标题 拓展Extention 安装方法（以双语对照插件为例） 1、WebUI内置的下载方式（推荐） 2、git clone安装（更推荐） 3、github下载安装包后解压（不推荐） 强力推荐安装的几个插件拓展 1、[中...
-
Stable Diffusion | Gradio界面设计及API调用
Stability AI 2024年2月发布了 Stable Cascade 模型，但由于该模型较大（fp32格式的 Stage_A + Stage_B + Stage_C 模型超过20GB，ComfyUI 专用 Stage_B + Stage_C 模型也...
-
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型 前言 今天来写一个简单的ernie-c#的例子，主要参考了百度智能云的例子，然后自己改了改，学习了ERNIE模型的鉴权方式，数据流的格式和简单的数据解析，实现了在...
-
ubuntu部署stable-diffusion-webui
1、下载stable-diffusion-webui 我这里使用的是阿里的oss缓存，可以直接下载 wget https://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/code/...
-
LLaMA-Factory微调多模态大语言模型教程
本文旨在结合笔者自身的实践经历，详细介绍如何使用 LLaMA-Factory 来微调多模态大语言模型。目前仓库已支持若干流行的MLLM比如LLaVA-1.5，Yi-VL，Paligemma等。 2024.5.29 注：本文后续不再更新，如果想了解更新的特...
-
用爬虫带你感受AIGC的力量
先带各位再重温一下爬虫 爬虫，可以解释为爬取网页中的数据，收集和提取互联网上的数据。首先我们需要做什么呢？第一步：发出http请求，获取html字符串；第二步：对字符串做查找正则，伪代码；第三步：聚焦，聚焦在所要的数据标签比如table、title、pi...
-
在Windows上用Llama Factory微调Llama 3的基本操作
这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme：GitHub - hiyouga/LLaMA-Factory: U...