-
零基础入坑爬虫—Python网络爬虫的应用实战以及数据采集
前言 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 博主今天有个小目标—带领大家正式入坑爬虫！ 想要学习爬虫却一...
-
基于 Paimon 的袋鼠云实时湖仓入湖实战剖析
在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践------ChunJun 融合 Flink CDC、MySQL 一键入...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
Stable Diffusion | ComfyUI API 工作流自动优化
ComfyUI 可直接保存生图工作流为 API 格式，但该 API 格式文本行数较多且节点顺序与逻辑执行顺序不一致，不利于编写或修改 API 的调用代码。 在上一篇文章 Stable Cascade | ComfyUI API 工作流格式优化 中介绍了...
-
如何使用共享GPU平台搭建LLAMA3环境（LLaMA-Factory）
0. 简介 最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的[Compshare](https://www.compshare.cn/? ytag=GPU_lovelyyoshino_Lcsdn_...
-
Python爬虫教程，从入门到成神
文章目录 文末有福利 前言 一、为什么使用Python进行网络爬虫？ 二、判断网站数据是否支持爬取 三、requests 库抓取网站数据 1.如何安装 requests 库 四、爬虫的基本原理 五、使用 GET 方式抓取数据 六、使用 P...
-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
【ComfyUI】Stable Diffusion 3 加Controlnet
基于 instantX-research/diffusers_sd3_control: ? Diffusers: State-of-the-art diffusion models for image and audio generation in PyT...
-
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
嵌入模型是大型语言模型检索增强生成(RAG 的关键组成部分。它们对知识库和用户编写的查询进行编码。 使用与LLM相同领域的训练或微调的嵌入模型可以显著改进RAG系统。然而，寻找或训练这样的嵌入模型往往是一项困难的任务，因为领域内的数据通常是稀缺的。 但...
-
android集成百度文心一言实现对话功能，实战项目讲解，人人都能拥有一款ai应用
大家好，今天给大家讲解下如何实现一个基于百度文心一言的app功能，app内部同时集成了讯飞的语音识别。本文适用于有android基础的小伙伴阅读，文章末尾放上本项目用到的全部实例代码，在使用前请务必看完本文章。 先来给大家看看效果。 百度文心一...
-
被AI改造后的meme梗图，已经变成了我看不懂的模样
你知道meme梗图吗? 这个词你可能会听起来有一些陌生，但是如果我放一张图，你一定会心领神会，然后说一声，卧槽，就这玩意啊。 上面的这张著名的黑人问号，就是meme。 它诞生自于希腊词语“Mimema”，通常被解释为“被模仿的想法” 也可以代指为，我们通常...
-
Stable Diffusion 3 大模型文生图实践
windows教程2024年最新Stable Diffusion本地化部署详细攻略，手把手教程（建议收藏!! _stable diffusion 本地部署-CSDN博客 linux本地安装教程 1.前期准备工作 1）创建conda环境 cond...
-
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
目录 一、引言 二、Whisper 模型原理 2.1 模型架构 2.2 语音处理 2.3 文本处理 三、Whisper 模型实战 3.1 环境安装 3.2 模型下载 3.3 模型推理 3.4 完整代码 3.5 模型部署 四、总结...
-
Niantic利用Meta Llama让数字生物栩栩如生
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
百度文心一言 java 支持流式输出，Springboot+ sse的demo
参考：GitHub - mmciel/wenxin-api-java: 百度文心一言Java库，支持问答和对话，支持流式输出和同步输出。提供SpringBoot调用样例。提供拓展能力。 1、依赖 <dependency> <group...
-
AI绘画Stable Diffusion 中 OpenPose骨骼编辑器 | 以后出图姿势自由了！
大家好，我是程序员晓晓 今天要学习使用 ControlNet当中的OpenPose Editor 来调整人物的姿势，从而实现姿势自由！ 一 OpenPose Editor 我们可以将 OpenPose 理解成是对 ControlNet 姿势约束的一...
-
Midjourney如何集成到自己(个人/企业)的平台（三-完结）
前两篇文章写如何注册和配置 Midjourney如何集成到自己(个人/企业 的平台（一） Midjourney如何集成到自己(个人/企业 的平台（二） 这篇文章是完结篇，也是代码篇，本文章内容描述开发语言为Java，使用框架为SpringBoot，废...
-
AIGC专栏11——EasyAnimateV2结构详解与Lora训练 最大支持768x768 144帧视频生成
AIGC专栏11——EasyAnimateV2结构详解与Lora训练 最大支持768x768 144帧视频生成 学习前言 源码下载地址 EasyAnimate V2简介 技术储备 Diffusion Transformer (DiT Mo...
-
Vs使用C++调用文心一言api接口
Vs使用C++调用文心一言api接口 开发环境的选择：visual studio 2022，可以通过visual studio installer进行安装，安装时需要包含组件为“使用C++的桌面开发”（图0-1），需要其它的组件也可以自行下载。 图0-...
-
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 《大模型面试...
-
llama factory 是如何加载数据集 通过对数据集加载的代码的理解编写自定义数据集训练代码
第一层从训练代码追踪到以下代码 def get_dataset( tokenizer: "PreTrainedTokenizer", model_args: "ModelArguments", data_args: "DataAr...
-
12k Star！Continue：Github Copilot 开源本地版、开发效率和隐私保护兼得、丰富功能、LLM全覆盖！
原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！） 12k Star！Continue：Github Copilot 开源本地版、开发效率和隐私保护兼得、丰富功能、LLM全覆盖！ ?开源 VS Code...
-
【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。 在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的...
-
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
前言 近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题 Train 框架 目前好用的框架太多，如BELLE, C...
-
（5-5-02）金融市场情绪分析：使用Llama 2 大模型实现财经信息的情感分析微调（2）
5.5.4 Llama-2语言模型操作 编写下面的代码，功能是加载、配置 Llama-2 语言模型以及其对应的分词器，准备好模型为后续的对话生成任务做好准备。 model_name = "../input/llama-2/pytorch/7b-h...
-
使用 Llama 3 开源和 Elastic 构建 RAG
作者：Rishikesh Radhakrishnan 使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 G...
-
AI绘画专栏之statble diffusion SDXL 1.0 更加精细的OpenPose DW Openpose(23)
更为精细的DW openpose https://pan.quark.cn/s/8e66ada8a434 SD启动器2024最新版本下载 链接：https://pan.quark.cn/s/eea6375642fd 百度网盘复制到vx打开: #小程序:...
-
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型 ? 博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。CSDN优质创作者，提供产品测评、学习辅导、...
-
老电脑焕发第二春，玩转 Stable Diffusion 3
几年前，我头脑一热，配置了一台顶配级消费 PC（RTX 2080 Ti GPU + i9 CPU），打算用来学习 AI。然而，起初我并没有找到合适的切入点。深度学习早期阶段，消费级显卡根本无法承担训练大模型、微调大模型，甚至连运行大模型都很吃力。结果...
-
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速...
-
为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)
文章目录 前言 一、数据来源的选择 (一 、开源数据集 1. 存在的问题 2. 解决方案 (二 、自定义数据集 网络爬虫 用户生成内容 法律咨询 阶段成果展示 前言 在人工智能和自然语言处理领域，生成式预训练模型（如G...
-
【从零开始AI绘画6】StableDiffusionWebUI拓展的安装方法以及推荐的几个拓展
这里写自定义目录标题 拓展Extention 安装方法（以双语对照插件为例） 1、WebUI内置的下载方式（推荐） 2、git clone安装（更推荐） 3、github下载安装包后解压（不推荐） 强力推荐安装的几个插件拓展 1、[中...
-
Stable Diffusion | Gradio界面设计及API调用
Stability AI 2024年2月发布了 Stable Cascade 模型，但由于该模型较大（fp32格式的 Stage_A + Stage_B + Stage_C 模型超过20GB，ComfyUI 专用 Stage_B + Stage_C 模型也...
-
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型 前言 今天来写一个简单的ernie-c#的例子，主要参考了百度智能云的例子，然后自己改了改，学习了ERNIE模型的鉴权方式，数据流的格式和简单的数据解析，实现了在...
-
ubuntu部署stable-diffusion-webui
1、下载stable-diffusion-webui 我这里使用的是阿里的oss缓存，可以直接下载 wget https://pai-vision-data-sh.oss-cn-shanghai.aliyuncs.com/aigc-data/code/...
-
LLaMA-Factory微调多模态大语言模型教程
本文旨在结合笔者自身的实践经历，详细介绍如何使用 LLaMA-Factory 来微调多模态大语言模型。目前仓库已支持若干流行的MLLM比如LLaVA-1.5，Yi-VL，Paligemma等。 2024.5.29 注：本文后续不再更新，如果想了解更新的特...
-
用爬虫带你感受AIGC的力量
先带各位再重温一下爬虫 爬虫，可以解释为爬取网页中的数据，收集和提取互联网上的数据。首先我们需要做什么呢？第一步：发出http请求，获取html字符串；第二步：对字符串做查找正则，伪代码；第三步：聚焦，聚焦在所要的数据标签比如table、title、pi...
-
在Windows上用Llama Factory微调Llama 3的基本操作
这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme：GitHub - hiyouga/LLaMA-Factory: U...
-
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 文章目录 用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 什么是模型微调？ 为什么使用 LLama-Fact...
-
[AIGC] 使用Flink SQL统计用户年龄和兴趣爱好
Apache Flink是一个具有强大计算能力、高吞吐量、低延迟的分布式计算框架，它支持批计算和流计算。Flink SQL是Flink ecosystem的一部分，是一种对结构化数据进行批和流处理的声明式语言。本文以一个简单的实例讲解如何使用Flink S...
-
基于LLaMA-Factory微调Llama3
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程 环境配置 # 1. 安装py3.10虚拟环境 conda create -n py3.10-torch2.2 python=3.10 source activate c...
-
【大模型应用开发极简入门】微调（一）：1.微调基础原理介绍、2. 微调的步骤、3. 微调的应用（Copilot、邮件、法律文本分析等）
文章目录 一. 开始微调 1. 选择合适的基础模型 2. 微调和少样本学习 2.1. 对比微调和少样本学习 2.2. 微调需要的数据量 二. 使用OpenAI API进行微调 1. 数据生成 1.1. JSONL的数据格式 1.2....
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...
-
国内如何申请 Midjourney API （mj接口），一次教会你
众所周知Midjourney 并未提供API接口服务，那要如何才能使用Midjourney 的接口呢？通过千搜万搜终于让我找到一个这种平台，同时支持 Mid journey proxy Plus 以及 Mid journey proxy 接口协议，基本支持...
-
Llama 3超级课堂作业笔记
文章目录 基础作业 完成 Llama 3 Web Demo 部署 环境配置 下载模型 Web Demo 部署 对话截图 使用 XTuner 完成小助手认知微调 Web Demo 部署 自我认知训练数据集准备 训练模型 推理验证 使用...
-
文心一言API使用教程（python版）
注：在做项目的时候需要调用文心一言，发现网上的版本很乱，基本都止步在官方文档的代码上，所以写了一篇博客来记录自己的尝试实现了对文心一言的循环调用和自定义询问，本篇文章不需要有任何对api的基础知识，代码全部成功运行，并引用官方文档，祝大家成功实现自己的调用...
-
使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序
文章目录 使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序 Llama 2-70B-聊天 LlamaIndex 解决方案概述 先决条件 使用 SageMaker JumpStart 部署 GPT-J 嵌...