-
DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示
目录 Latent Diffusion Model LDM 主要思想 LDM使用示例 LDM Pipeline LDM 中的 UNET 准备时间步 time steps 预处理阶段 pre-process 下采样过程 down sampl...
-
python从入门到精通：基础语法讲解
1、字面量 字面量：在代码中，被写下来的固定的值，称之为字面量。 python中常用的几种数据类型： 类型 描述 说明 数字（Number） 整数（int） 浮点数（float） 复数（complex） 布尔（bool） 整数（int）...
-
Python爬虫详解：原理、常用库与实战案例！
一.爬虫介绍 1.什么是爬虫 爬虫是门很有意思的技术，可以通过爬虫技术获取一些别人拿不到或者需要付费才能拿到的东西，也可以对大量数据进行自动爬取和保存，减少时间和精力去手动做一些累活。 Python全套爬虫学习资料，【点击这里】领取！...
-
LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言 日常没空，留着以后写 llama-index简介 官网：https://docs.llamaindex.ai/en/stable/ 简介也没空，以后再写 注：先说明，随着官方的变动，代码也可能变动，大家运行不起来，可以进官网查查资料...
-
再融近5亿！清华系AI创业新势力，成最吸金“算力运营商”
一笔近5个亿新融资，投向AI大模型领域。 量子位独家获悉，清华系AI创业公司无问芯穹完成了近5亿元A轮融资。加码的股东阵容很全、很豪华: 一口气新增15家股东，涵盖北京上海等地的国资/地方基金，顺为资本/达晨财智等市场化头部VC，还有券商直投和产业CVC。...
-
llama factory微调时出现x86_64-conda-linux-gnu/bin/ld: cannot find -lcurand: No such file or directory解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客...
-
Stable-Diffusion1.5
SD1.5权重：https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main SDXL权重：https://huggingface.co/stabilityai/stable-diffus...
-
探索LLaMA Factory：一站式大模型微调平台
探索LLaMA Factory：一站式大模型微调平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_mir...
-
AIGC综合应用-黑神话悟空cos写真制作方法（案例拆解）
想要体验一下穿越到黑神话悟空的世界中，亲自上阵来一场cos写真拍摄？ 其实，通过AI，这个愿望轻松实现！ 不需要复杂的设备和高超的技术，只要两步就能搞定：生成底图和换脸。 以下就带你一步步解析如何用AI工具制作一张酷炫的黑神话悟空c...
-
基于 Llama factory 微调 Llama3.1-70B-Chinese-Chat
本文旨在探讨基于Llama factory使用LoRA（Low-Rank Adaptation）技术对Llama3.1-70B-Chinese-Chat模型进行微调的过程，重点介绍在单机多卡和多机多卡两种分布式训练环境下的实现方法。 1.环境准备...
-
记录Linux上安装LLaMA Factory v0.8.3 增量预训练/监督微调
序：SFT 和 PT 的区分 sft（Supervised Fine-Tuning，监督微调） 定义：sft是一种基于监督学习的微调方法，它使用标记好的数据（即带有输入、指令和期望输出的数据集）来进一步训练已经预训练好的模型。这种方法允许模型...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
K8sGPT 搭配 LLaMA 3.1:8B，AI 运维也能轻松搞定
文章目录 1. 前言 2. 安装工具 3. 运行 k8s 集群 4. 运行本地 llama 模型 5. k8sgpt 模型认证管理 5.1 添加 openAI 模型认证 5.2 添加本地 llama3.1:8b模型认证 5.3 删除模型认证...
-
使用 Ollama、Llama 3.1 和 Milvus 进行函数调用案例
偶然看到一篇很短代码就能实现llama function call的文章。 秉着学习加分项的原则，进行了实验测试。这里给出案例和全部改写后的代码。 将 LLM 与函数调用相结合，就如同赋予您的 AI 连接世界的能力。通过将您的 LLM 与外部工具（例如用...
-
服务器部署llama3 并利用LLaMA-Factory实现微调
llama3的编译环境要求： 需要的软件，硬件资源： python=3.11 pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.2 第一步下载需要的pytho...
-
DataWhale多模态赛事Task1
赛事链接：https://tianchi.aliyun.com/competition/entrance/532251/introduction?spm=a2c22.12281925.0.0.2f307137p8qZmp 赛事描述：在当下大数据、大模型时...
-
【AIGC】训练数据入库（Milvus）
之前的文章有写如何获取数据、如何补充数据，也有说如何对数据进行清洗、如何使用结构化数据进行训练。但好像没有说如何将训练数据“入库”。这里说的入库不是指 MySQL 数据库，而是指向量检索库 Milvus。 众所周知，人工智能多用向量数据进行训练。数据先做...
-
GPU云服务器------2秒文生图
GPU云服务器------2秒文生图 GPU云服务器 AIGC来也 开通GPU服务 配置安全组规则 远程连接GPU云服务器 配置nginx用户 文生图 开启AiaccTorch 禁用AiaccTorch 切换模型 使用LoRA插件 使用Con...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
ubuntu系统编译whisper.cpp/talk-llama
1. 项目克隆到本地 git clone https://github.com/ggerganov/whisper.cpp 2. 编译 CPU 版本： sudo apt-get install libsdl2-dev cd whisper.cpp...
-
OS-Copilot：自学习的通用计算机智能体
人工智能咨询培训老师叶梓 转载标明出处 现有的计算机智能体大多局限于特定应用或领域，难以应对多样化和不断变化的计算机操作需求。这种局限性不仅限制了智能体的实用性，也阻碍了其在更广泛场景中的应用潜力。为了突破这一瓶颈，研究者们一直在探索如何构建能够处理...
-
4060显卡+LLaMA-Factory微调LLM环境准备——（一）安装cuda
本地配置 系统：win10**硬件：**i5-12490f+RTX4060 安装原因： 最近尝试在本地对开源LLM进行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等...
-
使用FastChat快速部署LLM服务
原文：https://zhuanlan.zhihu.com/p/705915093 FastChat 是一个用于训练、服务和评估基于LLM的聊天机器人的开放平台，它的核心功能包括： 最先进模型（例如 Vicuna、MT-Bench）的训练和评估代码。...
-
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。 ?GPU推荐使用24GB显存的A10（ecs.gn7i-c8g1.2xlar...
-
Midjourney地位不稳？AI绘图又一黑马出现，附4款产品一手实测
AI圈，再次开卷图像生成。 一连串进展扎堆: 8月21日，Ideogram正式推出2.0版本，声称文本渲染能力更强。 没错，就是那个成立于去年8月，由谷歌AI绘画4大牛集体离职创业的项目，曾获得过一众AI大佬投资。 此番Ideogram还公开叫板Flux，...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
基于autodl与llama-factory部署llama3-8B开源大模型
一、注册与购买autodl实例 注册了autodl账号以后，我们便可以在网站首页看到具体的实例信息，同时能够观察其具体的系统盘与数据盘以及缓存大小，对于我们即将微调的llama3开源大模型来说，通过资料的查询了解，我们只需要24G显存就可...
-
Datawhale X 魔搭 AI夏令营 AIGC Task2笔记
对于task2里的这几句话本人还是十分赞成的 定期关注AI生图的最新能力情况都十分重要： 对于普通人来说，可以避免被常见的AI生图场景欺骗，偶尔也可以通过相关工具绘图 对于创作者来说，通过AI生图的工具可以提效，快速制作自己所需要的内容 对...
-
[AIGC] Doris：一款高效的MPP数据仓库引擎
在大数据处理的领域中，Apache Doris（原百度 Palo）是一个高效的MPP（大规模并行处理）数据仓库，最初由百度开发，现在已经成为Apache的孵化项目。 (图片取自百度 – 文章目录 1. Doris的基础知识 2....
-
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
快速体验LoRA微调Llama3-8B模型以及海光DCU推理加速（曙光超算互联网平台国产异构加速卡）
序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，对 Llama3-8B-Instruct 模型进行 LoRA 微调、合并和推理。 一、参考资料 github仓库代码：LLaM...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 Task2：精读代码，实战进阶 笔记
在夏令营第四期Task1时，我们已经跑通了baseline，本期目的是对baseline的代码有一个更加细致的理解，学习如何借助AI来提升我们的自学习能力，理解每行代码的意思，从大模型提问技巧来实现自主学习，并学习如何制作一个连环画。 首先认识大语言模型...
-
Stable Diffusion赋能“黑神话”——助力悟空走进AI奇幻世界
《黑神话：悟空》是由游戏科学公司制作的以中国神话为背景的动作角色扮演游戏，将于2024年8月20日发售。玩家将扮演一位“天命人”，为了探寻昔日传说的真相，踏上一条充满危险与惊奇的西游之路。 同时，我们还可以借助AI绘画技术，让悟空这一角色踏入AI构成的奇幻...
-
SonarQube前后端代码质量分析实战
X项目backend代码分析 C#（.net7）代码分析 Release 6.0.0 · SonarSource/sonar-scanner-msbuild · GitHub下载sonar-scanner-6.0.0.81631-net.zip，解...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶 Part1:磨刀准备一一认识通义千问 会用ChatGpt就行 Part2：精读baseline——从零入门AI生图 1. 代码的主体架构...
-
Datawhale X 魔搭 AI夏令营-第四期 AIGC-Task 2
目录 认识AI助手——通义千问 操作指南 主要功能模块 精读baseline代码 分析代码的主体架构 逐行解释代码 其他疑问-向AI追问 进行实战——基于话剧的连环画制作 提示词准备 执行Task1的30分钟速通Baseline 修改...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 Task02
参考教程：Docshttps://datawhaler.feishu.cn/wiki/KxI2wIeAJiRQWhkRt9dcqlNVnFR?from=from_copylink 精读baseline 代码整理 使用通义千问辅助理解baseline代...
-
16 使用Llama Index提取术语和定义的指南
使用Llama Index提取术语和定义的指南 Llama Index有许多用例（如语义搜索、总结等），这些用例都有很好的文档记录。然而，这并不意味着我们不能将Llama Index应用于非常特定的用例！ 在本教程中，我们将介绍使用Llama Ind...
-
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡（六）
一、前言 本篇文章将使用LLaMA-Factory去合并微调后的模型权重，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。 二、术语介绍 2.1. LoRA微调 LoRA (Low-Ra...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 task02笔记
AI工具使用 1. baseline 代码 2. 使用通义千问理解代码 2.1 工作流程 2.2 逐行释意 3. 使用通义千问生成 Prompt 3.1 生成的 Prompt 3.1 根据 Prompt 生成的图片 1. b...
-
如何在本地运行Llama 3系列：完整指南
今天咱们来聊聊 AI 界的重要事情——那些像 Llama3 系列这样的超大型语言模型（LLMs），现在居然可以在咱们自己的地盘上运行啦！想象一下，这就像是把一个超级智能的助手请进了家门，而且还是私密的，不用担心信息泄露的问题。 本文，虽然是基于之前 Ll...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
使用llama factory对语言模型微调，重塑自我认知，并部署于ollama上
本文记录了从环境部署到微调模型、效果测试并部署的全过程。 一 环境 如果使用autodl租赁服务器则不需要如下步骤，但是请注意llama_factory需要python、cuda等版本满足： 首先请确报你已经安装好了conda工具...
-
利用多Lora节省大模型部署成本｜得物技术
一、背景 近期，我们在大模型集群的部署过程中遇到了一些挑战。公司有多个业务场景，每个场景都基于自身的数据进行微调，训练出相应的大模型并上线。然而，这些场景的调用量并不高，同时大模型的部署成本较为昂贵，这造成了资源的浪费。 本文将介绍我们如何利用多Lor...
-
stable diffusion 的四种换脸方法
前言： 很多人对ai 换脸换装都比较感兴趣，今天就记录一下目前主流的换脸方法！！ 一、Roop插件 1.安装方法 roop安装及失败解决教程，你还没玩sd的换脸吗？_哔哩哔哩_bilibili 借用b站一个博主的视频教程，简单快捷方便 gi...
-
Datawhale X 魔搭 AI夏令营---AIGC Task2
目录 Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向 Task2：精读代码，实战进阶 0.0 一些link 0.1 任务内容 0.2 AI生图 0.3 **Kolors（可图）模型** 1.1 精读baseline——从...
-
【深度学习】LLaMA-Factory 大模型微调工具, 大模型GLM-4-9B Chat ，微调与部署 (2)
文章目录 数据准备 chat 评估模型 导出模型 部署 总结 资料： https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https:...
-
干货！Stable Diffusion 从入门到精通之提示词手册
前言 超级干货来了，我们耗费大量时间精力整理编写的Stable Diffusion提示词手册正式公开！Stable Diffusion 和提示词介绍 Stable Diffusion 是一种开源的基于文本的图像生成模型，可以根据任何文本输入生成逼...
-
【Reflextion论文总结】
Reflextion论文总结 文章目录 Reflextion论文总结 1、简介 2、创新点 3、主要内容 整体框架 记忆组件 流程 4、自我反思适用情形 5、实验结果 6、Langchain实现 AnswerQuestion I...
-
Datawhale X 魔搭 AI夏令营 AIGC方向 task2笔记
纯小白，自学！从零入门AI生图（AIGC方向）基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展实践学习。#Datawhale X 魔搭 AI夏令营# 一、利用AI精读baseline学习代码 task2的目的是精读bas...