-
开源探索时刻！在LLaMA-Factory上实现GLM-4和Qwen2的工具格式化
众所周知，如今的大模型大多是使用通用数据训练得出，因此在不同场景和专业领域的效果还有待改进。于是就衍生出了现如今广泛使用的微调技术，由于笔者现在所在的项目同样是与大模型打交道，也就不可避免地盯上了LLaMA-Factory。 那究竟什么是LLaMA-...
-
LLaMA-Factory实战推理
LLaMA-Factory官网：https://github.com/hiyouga/LLaMA-Factory 安装环境 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaM...
-
Mozilla 开源 llamafile:大语言模型分发与部署新范式
引言 随着 ChatGPT、BERT 等大型语言模型(Large Language Model, LLM 在自然语言处理领域掀起巨大波澜,AI 技术正以前所未有的速度走近大众生活。然而,这些 LLM 的训练和推理对计算资源提出了极高要求,动辄数十甚至数百...
-
Pycharm登录github copilot插件报错：code:-32603或64334，魔法上网，全局代理，改HTTP端口，修改本地全局变量等依旧没用后的解决方案。
打开本地文件：C:\Windows\System32\drivers\etc\hosts，以管理员方式修改hosts文件，直接在末尾添加如下内容： 140.82.112.25 alive.github.com 140.82.114.6 api.gi...
-
【大模型】大模型 CPU 推理之 llama.cpp
【大模型】大模型 CPU 推理之 llama.cpp llama.cpp 安装llama.cpp Memory/Disk Requirements Quantization 测试推理 下载模型 测试 参考 llama.cpp...
-
webassembly003 whisper.cpp的main项目-1
参数设置 /home/pdd/le/whisper.cpp-1.5.0/cmake-build-debug/bin/main options: -h, --help [default] show this h...
-
Meta Llama 3 模型与亚马逊 Bedrock 完美融合，释放无限潜能。如何通过SageMaker来部署和运行推理
文章目录 Meta Llama 3模型现在在亚马逊Bedrock上可用 Llama 3 模型 Llama 3 模型的实际应用 什么是 Meta Llama 3 什么是 SageMaker JumpStart 探索型号 部署模型 运行推理 7...
-
使用 Llama-Index、Llama 3 和 Qdrant 构建高级重排-RAG 系统
原文：Plaban Nayak Build an Advanced Reranking-RAG System Using Llama-Index, Llama 3 and Qdrant 引言 尽管 LLM（语言模型）能够生成有意义且语法正确的文本...
-
使用 LLaMA-Factory 实现对大模型函数调用功能
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 合集： 《大模型面试...
-
Stable Diffusion web UI 安装、启动脚本、插件（Debian12）
一、Debian12安装 教程很多，这儿就不详细说明啦，小编使用的是“debian-12.5.0-amd64-DVD-1.iso”。 二、换源 Debian12需要先换源，才能在安装第三方包时不出现报错 。 1、备份当前镜像源 cp /etc/...
-
【AIGC】通义千问生成问答数据集
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。 在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的...
-
LlamaFactory-Ollama-Langchain大模型训练-部署一条龙
前言 近些日子，大模型火的一塌糊涂，那么现在就有义务要学习一套好用的、从 dataset --> train --> deploy 的一整套流程，好拿来装逼。话不多说，进入正题 Train 框架 目前好用的框架太多，如BELLE, C...
-
Meta Llama 3 文本编码为 token
Meta Llama 3 文本编码为 token flyfish tiktoken 是一个用于 OpenAI 模型的快速 BPE 分词器，这里用在Meta Llama 3上。主要功能包括将文本编码为token，以及将token解码回文本。这个过程通常使...
-
本地搭建LLaMA-Factory环境进行大模型调优
LLaMA Factory LLaMA Factory快速对大模型进行快速调优，本文看一下如何本地搭建环境并调优，本文使用 ModelScope 社区中的模型，模型在国内，下载速度非常友好。 下载最新代码 ## LLaMA Factory官方 git...
-
AIGC工具使用指南与测评报告
目录 AIGC工具使用指南与测评报告 1. 引言 2. AIGC使用指南 2.1 安装和设置 2.2 与AIGC进行对话 2.3 提高对话质量 3. 测评报告 4. 结论 AIGC工具使用指南与测评报告 1. 引言 AIGC（A...
-
养猪大户必备！教你用ModelBox开发一个AI数猪应用
本文分享自华为云社区《ModelBox-视频应用开发：AI智能数猪【玩转华为云】》，作者： 阳光大猫。 一、准备环境 ModelBox端云协同AI开发套件（Windows）环境准备【ModelArts+ModelBox 端云协同AI应用开发实训课程...
-
llama-cpp-python 程序 Pyinstaller 打包后运行报错（RuntimeError: Failed to load shared library ‘llama.dll‘）
报错现象 本人基于 llama-cpp-python 构建了一个领域知识问答程序，并通过 Pyinstaller 打包成一个包含 .exe 运行文件的文件夹（记为 D）。 该 .exe 在本机（打包用的电脑，Windows 11）上运行正常，在把文件...
-
利用llama.cpp量化部署Llama-3-Chinese-8B-Instruct大模型
相关大模型项目：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3 量化部署是将机器学习模型压缩以减少内存占用和计算成本的过程。本文将详细介绍如何使用llama.cpp工具进行模型量化并在本地部署。 环...
-
在Windows上用Llama Factory微调Llama 3的基本操作
这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客 也可以参考Llama Factory的Readme：GitHub - hiyouga/LLaMA-Factory: U...
-
[AIGC] 使用Flink SQL统计用户年龄和兴趣爱好
Apache Flink是一个具有强大计算能力、高吞吐量、低延迟的分布式计算框架，它支持批计算和流计算。Flink SQL是Flink ecosystem的一部分，是一种对结构化数据进行批和流处理的声明式语言。本文以一个简单的实例讲解如何使用Flink S...
-
【机器学习】机器的登神长阶——AIGC
目录 什么是AIGC 普通用户接触AIGC网站推荐 通义千问 白马 普通用户如何用好AIGC 关键提示词的作用 AIGC的影响 就业市场： 教育领域： 创意产业： 经济活动： 社交媒体与信息传播： AIGC面临的挑战...
-
Whisper.cpp本地化：Windows端部署详解与实操
简介 什么是Whisper？ OpenAI的Whisper是一个自动语音识别（ASR）系统，它经过了大量多语言和多任务的监督数据训练，能够进行多语言语音识别、语音翻译和语言识别等任务。Whisper模型使用了一个编码器-解码器的Transforme...
-
[AIGC] 深入理解Java Map接口
深入理解Java Map接口 Java Map提供了一个存储键值对的数据结构，键是唯一的，但值可以重复。在Java中，Map接口是java.util包中的一部分，它定义了操作映射的方法。本篇文章将介绍Java Map接口中的常用API。 Map接口...
-
llama-factory-0.7.0微调llama3-8B-Instruct-262k
1.摘要 用llama-factory-0.7.0微调Llama-3-8B-Instruct-262k,微调数据是1.5k的论文审稿。 GPU配置是A40. 用llama-factory的0.7.1版本微调Llama-3-8B-Instruct-26...
-
在idea使用GitHub账号、Copilot异常
登录GitHub显示这样的信息： Invalid authentication data.Connection refused: connect Failed to initiate the GitHub login process. Please t...
-
AI初识--LLM、ollama、llama都是些个啥？
LLM全称（large language model）也就是大语言模型 什么是Ollama，它与Llama是什么关系？ Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者...
-
midjourney绘画，midjourney api接口国内如何对接
项目背景 众所周知，Midjourney并没有提供任何的Api服务，但是基于Midjourney目前的行业龙头位置，很多企业以及个人会有相关的需求。TTApi平台基于Midjourney现有功能整理出一套完整的可集成性高的服务，如果你有类似的需求，那么恭...
-
百度文心一言API4.0 Python调用ERNIE-4.0-8K详细教程
ERNIE 4.0是百度自研的旗舰级超大规模⼤语⾔模型，相较ERNIE 3.5实现了模型能力全面升级，广泛适用于各领域复杂任务场景；支持自动对接百度搜索插件，保障问答信息时效，支持5K tokens输入+2K tokens输出。ERNIE-4.0-8K是模...
-
使用LLaMA-Factory来实现微调ChatGLM-3B
前提：本文是使用阿里云的人工智能PAI平台的交互式建模（DSW）来进行的如下操作 安装LLaMA-Factory # 克隆项目 git clone https://github.com/hiyouga/LLaMA-Factory.git # 安装项目...
-
Stable diffusion的SDXL模型，针不错！（含实操）
与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式： 以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refin...
-
Spring Boot后端调用文心一言响应式问答
Spring Boot后端调用文心一言响应式问答 1.获取文心服务 要在我们的后端服务中接入文心一言，就要获取文心的服务，首先我们要进入百度智能云中注册一个账号：https://console.bce.baidu.com/qianfan/ais/...
-
Llama 3 CPU推理优化指南
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Lla...
-
快速识别你家的猫猫狗狗，教你用ModelBox开发AI萌宠应用
本文分享自华为云社区《ModelBox-AI应用开发：动物目标检测【玩转华为云】》，作者：阳光大猫。 一、准备环境 ModelBox端云协同AI开发套件（Windows）环境准备【视频教程】 二、应用开发 1. 创建工程 在Model...
-
Windows部署语音转文字项目_Whisper
Windows部署语音转文字项目_Whisper 一、前置安装准备 Github源仓库，Whisper 下载安装whisper及其依赖项 官方有两种部署方法，一种是通过默认pip源拉取安装： 以管理员身份运行powershell，输入如下命令p...
-
使用Unity 接入 Stable-Diffusion-WebUI的 文生图api 并生成图像
使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像 文章目录 使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像 一、前言 二、具体步骤 1、启动SD的api设置 2、...
-
Java对接文心一言
注册千帆大模型 首先就是注册百度的千帆大模型平台，第一次注册会送一张20元的优惠卷，可以用这个先免费用一段时间。 创建应用 目的：获得APIKey和SecretKey 注册以后进入到百度智能云控制台应用接入（百度智能云控制台 (baidu.com ...
-
X-D-Lab/MindChat-Qwen-7B-v2模型向量化出现llama runner process has terminated: signal: aborted (core dumpe问题
Error: llama runner process has terminated: signal: aborted (core dumped 详细错误日志： 2024-05-21T06:24:45.266916811Z time=2024-05-...
-
用 LLaMA-Factory 在魔搭微调千问
今天在魔搭上把千问调优跑通了，训练模型现在在 Mac 还不支持，需要用 N 卡才可以，只能弄个N 卡的机器，或者买个云服务器。魔搭可以用几十个小时，但是不太稳定，有的时候会自动停止。 注册账号 直接手机号注册就可以. 找到对应模型 这步可能不需...
-
什么！Intel/AMD/Apple Silicon也能本地部署的Llama工具来了
主流的LLM都需要通过CUDA才能高效的运行在本地，但是随着Github上出现了Llama.cpp这个神器，一切都改变了。它通过AVX指令和MPI来实现CPU上并行计算，从而在本地计算机高效地运行各种主流的类Llama模型。同时它也支持metal，使得Ap...
-
LLaMA3（Meta）微调SFT实战Meta-Llama-3-8B-Instruct
LlaMA3-SFT LlaMA3-SFT, Meta-Llama-3-8B/Meta-Llama-3-8B-Instruct微调(transformers /LORA(peft /推理 项目地址 https://github.com/yong...
-
llama-cpp-python安装bug：error: subprocess-exited-。scikit-build-core 0.8.2 using CMake 3.28.3 (wheel)
– llama-cpp-python安装bug：error: subprocess-exited-。scikit-build-core 0.8.2 using CMake 3.28.3 (wheel 环境 系统 linux python 3.1...
-
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。 但是，随着模型越来越大，RLHF 通常需要维持多个模型...
-
简单4步，带你用华为云MetaStudio制作数字人短片
本文分享自华为云社区《使用MetaStudio生产线四步制作数字人视频》，作者： yd_298097624。 随着AIGC新技术尤其是大模型技术的发展，音视频行业、数字内容生产行业正在经历这从生产方式和生产效率上的一个巨大变化。预测到2030年有AI大模...
-
Unity接入文心一言大模型
一、百度云平台创建应用 1、创建一个自己的应用 https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application 2、获取ApiKey和Secret...
-
在OpenHarmony本地部署大语言模型
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源，开源地址：https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdp...
-
一次copilot问题处理
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、问题描述 二、解决步骤 1.询问关键词 2.询问问题 3.询问解决方案 总结 前言 记录一次使用copilot解决问题的流程，以...
-
SD有了这8个插件，stable diffusion才真的是无敌存在！
在AI绘画领域，Stable Diffusion（SD）绝对是设计师和艺术家们最爱用的工具之一。它给设计师们带来了无限的创作灵感，不管是数字艺术、概念设计还是角色建模，都能让设计师们受益匪浅，大大提高他们的出图效率，确保他们的作品在市场上脱颖而出。 所以...
-
AI预测极端天气提速5000倍！微软发布Aurora，借AI之眼预测全球风暴
自人类有历史以来，就一直执着于预测天气，以各种方式破解「天空之语」，我们慢慢发现，草木、云层似乎都与天气有关，这不仅仅是因为人类从事生产的需要，也是人类想要对着大风歌唱、在月光下吟诗的需要。 《冰与火之歌》中的风雨歌师，就是通过歌声和吟唱来预测天气和风暴...
-
ollama部署体验Chinese-LLaMA-Alpaca-3大模型项目
前言 书接上回：快速评测已有的中文llama-3开源模型（4月25日更新）_llama3-chinese-novel-CSDN博客 虽然Llama-3大模型发布以后，中文适配模型也出了一大堆，但效果都不尽人意，参差不齐。近期，Chinese-LLaMA...
-
AIGC时代之 - 怎样更好的利用AI助手 - 指令工程
爆火的AIGC 2022年11月30日，OpenAI发布ChatGPT 3 2022年12月4 日，ChatGPT 3 已拥有超过一百万用户 2023年各种大语言模型开始火爆全球 GPT们，已经成为了我工作和学习的非常重要的工具。 ChatGPT...