-
【大模型与AIGC】VLM基础知识汇总
这里写目录标题 LLM输入时的理解 1. Tokenizer的实现：Word极大似然估计 LLM推理：关于Attention mask的理解 1. CausalModel 与 AttentionMask 2. attention mask乘法...
-
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
基于qwen2.5 手把手实战 自定义数据集 微调（llama-factory） 准备工作 1.数据集准备（例:民法典.txt） 2.服务器准备（阿里云 DSW 白嫖） 3.环境配置 pip 升级 模型下载 微调助手 4.数据集处理 脚...
-
调用大模型API-文心一言
一、准备工作 进入百度智能云千帆大模型平台，点击应用接入-创建应用；按提默认完成创建 二、开始使用 单轮调用 进入API列表 - ModelBuilder以第一个ERNIE-4.0-8K为例，选择“HTTP请求调用”，把第一步创建应用的 应用A...
-
AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍
快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM ，名为AMD-135M”。 相比于越来越庞大的大语言模型(LLM ，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。 AMD-135小模型隶属于Llama家族，有两个版...
-
我对意义产生了怀疑！当今社会，一个最基本的因果律（深度好文）——早读（逆天打工人爬取热门微信文章解读）
有时候热搜也是一种预示 引言 Python 代码 第一篇 洞见 当今社会，一个最基本的因果律（深度好文） 第二篇 空仓 结尾 引言 今天真的晚 不过今天会更新两篇 破事真的多 有些人真的很神奇 在你做的时候不断来干预你 然后...
-
DataWhale Task02：从零预训练一个tiny-llama 20923
DataWhale Task02：从零预训练一个tiny-llama 20923 原文link：https://github.com/KMnO4-zx/tiny-llm 开源内容：https://github.com/datawhalechina/t...
-
＜Project-3 Video2SubTitle＞ Python coding Flask应用：从视频中，提取对白，生成独立的字幕文件 浏览器页面交互 调用cuda, Whisper模型
原因： 在网上看到一个视频没有字幕。 记者问小泉纯一郎 (前日本首相 ，我只是好奇，想知道Y说的是什么。 上面这个帖子里的视频：https://x.com/i/status/1834489208398115295 视频没有字幕，那就自己做...
-
Llama-GitHub 项目教程
Llama-GitHub 项目教程 llama-github Llama-github is an open-source Python library that empowers LLM Chatbots, AI Agents, and Auto...
-
VAE（Variational auto-encoder）
1.VAE（Variational auto-encoder） 笔记来源及推荐文章： 1.变分自编码器（一）：原来是这么一回事 2.变分自编码器（二）：从贝叶斯观点出发 3.变分自编码器（三）：这样做为什么能成？ 4.变分自编码器（四）：一步到位的聚类...
-
手把手带你了解和实践扩充 LLaMA 大语言模型的 tokenizer 模型（实现中文token过程）
目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。 一般的，目前比较主流的是使用sentencepiece训练中...
-
Python爬虫详解：原理、常用库与实战案例
一.爬虫介绍 1.什么是爬虫 爬虫（Spider），也被称为网络爬虫或网络蜘蛛，是一种自动化程序，用于在互联网上浏览和提取信息。爬虫通过模拟人类用户访问网页的行为，从网页中提取数据并将其存储或进行进一步处理。 爬虫可以自动遍历互联网上的各个网页，并...
-
2024媲美GitHub Copilot的一款国产AI代码编程插件（附安装教程）
GitHub Copilot是由GitHub和OpenAI联合开发的一款AI代码插件，首月免费试用后，感觉离不开了，一直每月10美元订阅。 今天无意间在掘金网发现一个国产纯纯免费的AI代码插件，使用后发现可完全替代Copilot，甚至有些功能更符合国人编...
-
ComfyUI - 在服务器中部署 AIGC 绘画的 ComfyUI 工具 教程
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141140498 免责声明：本文来源于个人知识与公开资料，仅用于学术交...
-
第三十五篇-各大模型测评地址和说明集合
1.Open LLM Leaderboard - 开放式LLM排行榜 测评地址：https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard 说明：使用Eleuther...
-
【06】LLaMA-Factory微调大模型——微调模型评估
上文【05】LLaMA-Factory微调大模型——初尝微调模型，对LLama-3与Qwen-2进行了指令微调，本文则介绍如何对微调后的模型进行评估分析。 一、部署微调后的LLama-3模型 激活虚拟环境，打开LLaMA-Factory的webui页面...
-
Python爬虫详解：原理、常用库与实战案例！
一.爬虫介绍 1.什么是爬虫 爬虫是门很有意思的技术，可以通过爬虫技术获取一些别人拿不到或者需要付费才能拿到的东西，也可以对大量数据进行自动爬取和保存，减少时间和精力去手动做一些累活。 Python全套爬虫学习资料，【点击这里】领取！...
-
基于 Llama factory 微调 Llama3.1-70B-Chinese-Chat
本文旨在探讨基于Llama factory使用LoRA（Low-Rank Adaptation）技术对Llama3.1-70B-Chinese-Chat模型进行微调的过程，重点介绍在单机多卡和多机多卡两种分布式训练环境下的实现方法。 1.环境准备...
-
AIGC——微调技术(Datawhale X 魔搭 Al夏令营)
微调（Fine-tuning）是一种在深度学习和机器学习领域中常用的技术，旨在通过调整预训练模型的参数来使其更好地适应特定任务。其基本原理和参数的理解对于实现更好的效果至关重要。 前言 了解微调的基本原理，对微调的各种参数有一个更加清楚的了解，...
-
Python爬虫是什么？核心概念和原理
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：人工智能教程 一、爬虫的概念和作用 1.1 概念: 网络爬虫也叫网络蜘蛛，特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义...
-
Karpathy狂赞AI代码神器Cursor，直言回不到3年前无辅助编码了，却被指「带货」
热衷于开课并与网友分享新技术使用心得的 AI 大牛 Karpathy，也有被质疑「为推销某个产品而在言论中夹带私货」的一天。 这是怎么一回事呢? 昨天，Karpathy 分享了自己结合使用 AI 代码编辑器与大模型的心得体验，并发出了由衷的感叹:编程领域变...
-
Llama改进之——分组查询注意力
引言 今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA 1。 Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同...
-
Positional Encoding | 位置编码【详解】
文章目录 1、位置编码的2种方案 2、位置编码 3、公式详解 ： 绝对位置 、 相对位置 4、代码 4.1 代码1 4.2 代码2 1、位置编码的2种方案 transformer的作者刚开始说固定的位置编码和可学习的位置...
-
Golang httputil 包深度解析：HTTP请求与响应的操控艺术
标题：Golang httputil 包深度解析：HTTP请求与响应的操控艺术 引言 在Go语言的丰富标准库中，net/http/httputil包是一个强大的工具集，它提供了操作HTTP请求和响应的高级功能。从创建自定义的HTTP代理到调试HTT...
-
AIGC-ToonCrafter: Generative Cartoon Interpolation-CVPR2024
论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧，生成逼真生动的动画，动画插值生成 MOTIVATION T...
-
PHP采集页面的四种方法
什么叫采集？ 就是使用PHP程序，把其他网站中的信息抓取到我们自己的数据库中、网站中。 可以通过三种方法来使用PHP访问到网页 1. 使用file_get_contents( 前提：在php.ini中设置允许打开一个网络...
-
比肩 GPT-4o 的 Llama 3.1 本地部署快速体验的方法
比肩 GPT-4o 的 Llama 3.1 本地部署快速体验的方法 flyfish Llama 3.1模型简介 Llama 3.1是一系列大型语言模型，包含以下几种规模： 8B 参数：模型中有80亿个参数 70B 参数：模型中有700亿个参数...
-
微信小程序 ---- 生命周期
目录 生命周期 1. 小程序运行机制 2. 小程序更新机制 3. 生命周期介绍 4. 应用级别生命周期 5. 页面级别生命周期 6. 生命周期两个细节补充说明 7. 组件生命周期 总结 生命周期 1. 小程序运行机制...
-
起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气
起猛了，GPT-4o被谷歌新模型超越了! 历时一周，超1，2000人匿名投票，Gemini1.5Pro（0801）代表谷歌首次夺得lmsys竞技场第一。（中文任务也第一） 而且这次还是双冠王，除了总榜（唯一分数上1300），在视觉排行榜上也是第一。 G...
-
AIGC实战：LLaMA2打造中文写作利器——数据准备与模型训练全攻略
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2...
-
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
编者注：之前一直用firefly做微调，最近切换到LLaMA-Factory，发现不但简单易用，而且非常全面，有点相见恨晚的感觉。使用过程中我主要参考2个文档，一个是github上的官方中文文档： https://github.com/hiyouga/L...
-
自动炼丹基于Llama-factory改写--学习记录
最近在使用llama-factory微调LLM，但是一个个手动修改基本的学习率，学习轮次有太麻烦了。在寻找有没有什么自动调参的办法，在github上看到Llama-factory支持Weights & Biases 记录实验数据自动微调，尝试了一下...
-
比肩Midjourney-v6！没有GPU也能跑可图Kolors
比肩Midjourney-v6，快手的文生图开源模型可图Kolors一发布，开源社区就炸开了锅。短短几天，可图在Github上收获2k Star，Huggingface模型下载热榜第一。 7月6日，快手宣布开源数十亿参数的文生图模型可图Ko...
-
llama-factory微调工具使用入门
一、定义 环境配置 案例： https://zhuanlan.zhihu.com/p/695287607 chatglm3 案例 多卡训练deepspeed llama factory 案例Qwen1.5 报错 二、实现 环境配置 git cl...
-
深度解读昇腾CANN模型下沉技术，提升模型调度性能
本文分享自华为云社区《深度解读昇腾CANN模型下沉技术，提升模型调度性能》，作者：昇腾CANN。 AI模型的运行通常情况下需要CPU和NPU（昇腾AI处理器）等AI专用处理器协同工作，CPU所在位置称为主机端（Host），而NPU所在位置称为设备端（De...
-
unity 接入百度API——AI作画
完整代码下载地址：https://download.csdn.net/download/weixin_43703390/89179785 打不开就是还在审核中… 账号注册创建模块： 1.打开百度智能云官网:[https://cloud.baidu.c...
-
[AIGC] 图论基础入门
图论是数学的一个分支，旨在研究图（graph）的属性和应用。这是一个跨学科领域，因为图论可以用于描述和解决各种实际问题。如社交网络分析，电脑网络，生物网络等。 文章目录 什么是图？ 图的基本性质 LeetCode 图论相关问题解析及...
-
从0到1，为ASP.NET Core项目添加redis支持（全程使用copilot编码）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、需求背景 二、询问copilot工作流 1.简单询问 2.细节询问 3.代码定制化 三、最终验证 总结 前言 最近做需求需要用到...
-
结合RNN与Transformer双重优点，深度解析大语言模型RWKV
本文分享自华为云社区《【云驻共创】昇思MindSpore技术公开课 RWKV 模型架构深度解析》，作者：Freedom123。 一、前言 Transformer模型作为一种革命性的神经网络架构，于2017年由Vaswani等人 提出，并在诸多任务中...
-
llama-factory训练RLHF-PPO模型
理论上RLHF（强化学习）效果比sft好，也更难训练。ppo有采用阶段,步骤比较多,训练速度很慢. 记录下工作中使用llama-factory调试rlhf-ppo算法流程及参数配置,希望对大家有所帮助. llama-factory版本: 0.8.2...
-
Stable Diffusion | ComfyUI API 工作流自动优化
ComfyUI 可直接保存生图工作流为 API 格式，但该 API 格式文本行数较多且节点顺序与逻辑执行顺序不一致，不利于编写或修改 API 的调用代码。 在上一篇文章 Stable Cascade | ComfyUI API 工作流格式优化 中介绍了...
-
Llama源码解析之tokenizer.py
llama/llama/tokenizer.py at main · meta-llama/llama · GitHub # Copyright (c Meta Platforms, Inc. and affiliates. # This soft...
-
AIGC入门（一） 从零开始搭建Transformer！（上）
前言 我记得曾经看过一篇综述，综述里曾这样讲过： 多模态使用Transformer作为基石模型的一个原因之一，就是因为它能够很好地统一视觉（ViT、DiT）和文本，并且无限制地扩大其参数。这是一个在工程上很有作用也很有实际意义的事情。 笔者...
-
大模型应用实战4——开源大模型微调（基于LLaMA-Factory）
所谓微调，通俗理解就是围绕大模型进行参数修改，从而永久性的改变模型的某些性能。而大模型微调又分为全量微调和高效微调两种，所谓全量微调，指的是调整大模型的全部参数，而高效微调，则指的是调整大模型的部分参数，目前常用的高效微调方法包括LoRA、QLoRA、p-...
-
⌈ 传知代码 ⌋ LLaMA 开放高效基础语言模型
?前情提要? 本文是传知代码平台中的相关前沿知识与技术的分享~ 接下来我们即将进入一个全新的空间，对技术有一个全新的视角~ 本文所涉及所有资源均在传知代码平台可获取 以下的内容一定会让你对AI 赋能时代有一个颠覆性的认识哦！！！ 以下内容干货满满...
-
Meta Llama 3 文本编码为 token
Meta Llama 3 文本编码为 token flyfish tiktoken 是一个用于 OpenAI 模型的快速 BPE 分词器，这里用在Meta Llama 3上。主要功能包括将文本编码为token，以及将token解码回文本。这个过程通常使...
-
用AI制作历史解说视频：GPT + MidJourney + PiKa + FunSound + 剪映
1. 项目介绍 最近某站看到一个看到利用AI创作视频解说，成品画面很酷炫。对此以初学者视角进行复现，创意来源：用AI制作历史解说视频 2. 开始创作 我们参照原作者展示的内容，对古代人物屈原来生成解说视频。 2.1 故事脚本+分镜 【由GP...
-
llama系列模型学习
一、目录 llama1 模型与transformer decoder的区别 llama2 模型架构 llama2 相比llama1 不同之处 llama3 相比llama2 不同之处 llama、llama2、llama3 分词器词表大小以及优缺点...
-
为ChatGLM-6B模型的训练纪实：从数据集准备到LLamA-Factory的高效应用(一)
文章目录 前言 一、数据来源的选择 (一 、开源数据集 1. 存在的问题 2. 解决方案 (二 、自定义数据集 网络爬虫 用户生成内容 法律咨询 阶段成果展示 前言 在人工智能和自然语言处理领域，生成式预训练模型（如G...
-
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 文章目录 用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！ 什么是模型微调？ 为什么使用 LLama-Fact...
-
LLaMA 3 源码解读-大语言模型5
本来不是很想写这一篇，因为网上的文章真的烂大街了，我写的真的很有可能没别人写得好。但是想了想，创建这个博客就是想通过对外输出知识的方式来提高自身水平，而不是说我每篇都能写得有多好多好然后吸引别人来看。那作为对整个合集内容的完善，这篇博客会解析现在最火的LL...