-
llama-factory源码详解——以DPO为例
本文记录了我在学习 llama-factory过程中对代码运行过程的梳理 代码入口——src/train.py from llamafactory.train.tuner import run_exp def main( : run_exp...
-
基于AutoDL的语言大模型入门——Llama2-chat-13B-Chinese
AutoDL界面 ① autodl-tmp文件夹：数据盘，一般用来存放大的文件。 ② 其他文件夹“autodl-pub” “miniconda3” “tf-logs”等等存放在系统盘，其中tf-logs是用于存放训练过程tensorboard的...
-
Datawhale X 魔搭 AI夏令营 “AIGC”方向 task1
一、任务要求 task1 的任务和上一期的类似，都是跑通给出的代码即可，没有太大难度。 具体要求是训练 Lora 模型，实现文生图，额外的要求是8张图片必须组成一个连贯的故事，需要一定的“写小作文”能力。 二、代码解析 下载数据集 这一步不用分析...
-
LLama.cpp轻量化模型部署及量化
模型文件下载 首先说一下用到的模型，这次用的是Llama3-8B-Chinese-Chat-GGUF-8bit模型，想要快速的从huggingface下载模型可以参考我的另一篇博文。 从huggingface更快的下载模型 1.准备模型文件...
-
whisper+speaker.diarization.3.1实现根据说话人转文本
主要目的是复盘一下自己的第一个本地部署的代码。起因是老师布置的任务，想实现一个有关于教育场景的进行语音转录的模型。任务交给了本小白......好吧硬着头皮上，这篇博客也主要是记录自己的遇见的各种问题，以及对一些代码的改进。需要的小伙伴可以借鉴。 一,语音...
-
【Qwen-Audio部署实战】Qwen-Audio-Chat模型之对话机器人部署测试
系列篇章? No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
LLaMA-Factory全面指南：从训练到部署
项目背景与概述 LLaMA-Factory项目目标 LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。具体来说，LLaMA-F...
-
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战
目录 一、引言 二、模型简介 2.1 Gemma2概述 2.2 Gemma2 模型架构 三、训练与推理 3.1 Gemma2 模型训练 3.1.1 下载基座模型 3.1.2 导入依赖库 3.1.3 量化配置 3.1.4 分词器和模型实...
-
最强开源模型 Llama 3.1 部署推理微调实战大全
目录 引言 一、Llama 3.1简介 二、Llama 3.1性能评估 三、Llama 3.1模型推理实战 1、环境准备 2、安装依赖 3、模型下载 4、模型推理 四、Llama 3.1模型微调实战 1、数据集准备 2、导入依赖包 3、读...
-
Chameleon：Meta推出的图文混合多模态开源模型
目录 引言 一、Chameleon模型概述 1、早期融合和基于token的混合模态模型 1）早期融合的优势 2）基于token的方法 2、端到端训练 二、技术挑战与解决方案 1、优化稳定性问题 2、扩展性问题 3、架构创新 4、训练技...
-
GPT-4o mini：AI技术的平民化革命
目录 引言 一、GPT-4o mini简介 二、性能表现 三、技术特点 四、价格与市场定位 五、应用场景 六、安全性与可靠性 七、未来展望 八、代码示例 结语 引言 在人工智能的浪潮中，大模型技术一直是研究和应用的热点。然而，高...
-
提示词【AI写作】用GPT写一本小说
# Role : 小说家 ## Profile : - writer: 李继刚 - version: 1.0 - language: 中文 - description: 一位擅长使用细腻的文字，表达深刻主题的小说家 ## Background : 你是...
-
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
系列篇章? No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141028040 免责声明：本文来源于个人知识与公开资料，仅用于学术交...
-
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记--切记我是一个温柔的刀客
Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task1笔记 作者: 福州大学 切记我是一个温柔的刀客 2024/8/10 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活...
-
Nature曝惊人内幕：论文被天价卖出喂AI！出版商狂赚上亿，作者0收入
Nature的一篇文章透露:你发过的paper，很可能已经被拿去训练模型了!有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗? 全球数据告急，怎么办? 论文来凑! 最近，Nature的一篇文章向我们揭露了这样...
-
AI PPT智能生成系统：帮你颠覆幻灯片市场！（代码开源+海量免费模板）
解放学生和打工人的双手，让PPT创作不再是难题! 在学业和职场中，提起PPT，大家的第一反应就是痛苦.....对于天天和PPT打交道的学生和打工人来说，这3个字母就像是"熬夜"的同义词，让人不禁想起那些深夜赶工、对着电脑屏幕发呆的日子! 而现在，为了救各位...
-
Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？
【新智元导读】最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅8B的Llama3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。 强化学习先驱、加拿大阿尔伯塔大学...
-
Datawhale X 魔搭 AI夏令营-AIGC方向 task01笔记
目录 文生图技术的相关知识储备 SD结构图 种子 提示词 生成过程简单介绍 接下来开始随教程操作 Ⅰ开通阿里云PAI-DSW试用 Ⅱ在魔搭社区进行授权 Ⅲ报名“可图Kolors-LoRA风格故事挑战赛 Ⅳ在魔搭社区创建PAI实例编辑...
-
Llama 3.1横空出世！开源巨无霸首次击溃闭源，全民GPT-4时代来临
新智元2024-07-24 12:30北京 编辑：编辑部 【新智元导读】大模型格局，再次一夜变天。Llama 3.1 405B重磅登场，在多项测试中一举超越GPT-4o和Claude 3.5 Sonnet。史上首次，开源模型击败当今最强闭源模型。小扎大...
-
Meta发布新肥羊：Llama 3.1 大模型
Meta 的新 Llama 3.1 模型已经发布，开始与 GPT-4o 和 Claude 3.5 Sonnet 竞争。 Meta 在 23 号宣布其开源 AI 模型 Llama 已发布最新版本。据 Meta 称，随着 Llama 3.1 405B 的...
-
Llama 3.1用了1.6万个英伟达H100 GPU，耗费......
目录 Llama 3.1发布简介 Llama 3.1模型规模与训练 大模型企业发展面临的问题与困境 算力和能耗算力方面 数据和资金方面 技术和人才方面 Llama 3.1发布简介 当地时间 2024年 7月 23号，Meta 公司发布...
-
如何使用 Llama 3 构建本地文件生成式搜索引擎（附源码&文档）
系统设计 为了构建一个本地生成式搜索引擎或助手，我们需要几个组建： 包含本地文件内容的索引，具有信息检索引擎，用于检索给定查询/问题的最相关文档。 大语言模型，用于从本地文档中选择内容并生成摘要答案 一个用户界面 这些组件的交互方式如下...
-
基于Python+Django+Vue+Mysql前后端分离的图书管理系统
利用空闲休息时间开始自己写了一套图书管理系统。现将源码开源，项目遇到问题 Python+Django+Vue图书管理系统开发全流程 大家好，我是程序员科科，这是我开源的基于Python+Django+Vue的图书管理系统 希望可以帮助想学前后端分离的...
-
开源项目Llama.cpp指南
开源项目Llama.cpp指南 llama.cppPort of Facebook's LLaMA model in C/C++项目地址:https://gitcode.com/gh_mirrors/ll/llama.cpp 1. 项目介绍 Ll...
-
使用Llama-factory微调Llama3教程
一、登录OpenBayes进行注册登录 通过以下链接，新用户注册登录 OpenBayes ， 即可获得 四个小时 RTX 4090免费使用时长 ！！ 注册链接:https://openbayes.com/console/signup?r=zzl99_W...
-
微调stable diffusion
微调stable diffusion 一. 代码参考 不在stable diffusion官方仓库中修改，而是到huggingface 中找到微调的文件微调stable diffusion， 在其上面进行修改， 二. 出现的问题： huggi...
-
AI绘画国产之光，快手的Kolors真的超级能打
theme: smartblue 点赞 + 关注 + 收藏 = 学会了 前两天，快手开源了一个AI绘画模型 Kolors，中文名叫“可图”。该模型基于数十亿图文对进行训练，支持256的上下文 token 数，支持中英双语，还支持在图片中生成...
-
Huatuo Llama Med Chinese 教程
Huatuo Llama Med Chinese 教程 Huatuo-Llama-Med-ChineseRepo for BenTsao [original name: HuaTuo (华驼 ], Instruction-tuning Large La...
-
超9000颗星，优于GPT-4V！国内开源多模态大模型
国内著名开源社区OpenBMB发布了最新开源多模态大模型——MiniCPM-V2.6。 据悉，MiniCPM-V2.6一共有80亿参数，在单图像、多图像和视频理解方面超越了GPT-4V;在单图像理解方面优于GPT-4o mini、Gemini1.5Pro...
-
2024最新AI系统【IMYAI】，超多大模型AIGC系统/AI对话/AI绘画/AI音乐/AI视频搭建部署教程
IMYAI系统官方网站：https://new.imyai.top 1. 前言 IMYAI智能助手是基于ChatGPT开发的AI智能问答系统和Midjourney-AI绘画系统，支持OpenAI-GPT全模型、Claude-3.5全模型以及国内A...
-
【AIGC】文心一言大模型使用教程：从入门到精通
引言 文心一言，作为百度强大的自然语言处理大模型，凭借其深厚的语言理解和生成能力，在文本创作、问答系统、智能客服等多个领域展现出巨大的潜力。本教程旨在帮助初学者及进阶用户全面了解文心一言大模型，掌握其调用方法、使用技巧，并通过实际案例提升使用效率。 一...
-
大模型实操与API调用 | 十七、百度文心一言API申请与使用指南
百度文心一言是百度智能云推出的一款具有深度语义理解与生成能力的大语言模型。它广泛应用于文学创作、商业文案创作、数理逻辑推算等多个领域。本文将引导你如何一步步申请和使用文心一言API。 一、准备工作 1）注册百度智能云账号 访问 百度智能云官网...
-
从LLaMa 3 技术报告，再看LLM构建过程 ——《带你自学大语言模型》系列（番外）
本系列目录 《带你自学大语言模型》系列部分目录及计划，完整版目录见：带你自学大语言模型系列 —— 前言 第一部分 走进大语言模型（科普向） 第一章 走进大语言模型 1.1 从图灵机到GPT，人工智能经历了什么？——《带你自学大语言模型...
-
Llama 3.1 模型：从部署到微调的全方位应用手册
在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术进步的关键力量。随着Meta公司最新开源的Llama 3.1模型的问世，我们见证了开源AI领域的一大飞跃。Llama 3.1以其卓越的性能和广泛的应用潜力，为开发者和研究者提供了一个强大的工具，以探...
-
【人工智能AIGC技术开发】3.浅谈大话人工智能AIGC：几种AIGC底层技术的代码详解
为了更好地理解AIGC（AI Generated Content，人工智能生成内容）的底层技术，我们将详细介绍几种关键技术。这些技术包括深度学习、生成对抗网络（GANs）、变分自编码器（VAEs）和自回归模型（如Transformer和GPT）。 1....
-
Llama 3.1：开源语言模型的新里程碑
大家好，最近AI领域的新闻接踵而至，让人目不暇接。就在7月（23号）晚上，Meta发布了Llama 3.1系列模型，包括8B、70B参数的版本，以及此前提到过的400B参数模型（实际上是405B）。根据Meta官方公布的数据，Llama 3.1 405...
-
llama_fastertransformer对话问答算法模型
LLAMA 论文 https://arxiv.org/pdf/2302.13971.pdf 模型结构 LLAMA网络基于 Transformer 架构。提出了各种改进，并用于不同的模型，例如 PaLM。以下是与原始架构的主要区别： 预归一化。为了提高...
-
最强国产多模态刚刚易主！腾讯混元把GPT-4/Claude-3.5/Gemini-1.5都超了
国产大模型，多模态能力都开始超越GPT-4-Turbo了?? 权威榜单，中文多模态大模型测评基准SuperCLUE-V，新鲜出炉: 特别是腾讯的hunyuan-vision、上海AI Lab的InternVL2-40B，分别成为国内闭源和开源界两大领跑者...
-
llama-agentic-system
文章目录 一、关于 llama-agentic-system 二、LLama代理系统安装和设置指南 1、创建Conda环境 2、运行FP8 3、作为包安装 4、测试安装 5、下载检查点（或使用现有模型） 6、配置推理服务器配置 7、运行推理服...
-
AI写作不懂提示词 大象Prompt 保姆级系列教程三
一、提示词的核心价值究竟是啥？ 最近跟不少业内朋友探讨这事儿，我觉得：提示词的核心价值在于对方法论的封装以及由此带来的知识传播速度加快。 通俗讲，假如你熟悉的行业里有个厉害的“老师傅”，他在核心业务上有好多心得、经验和方法，有的能量化或结构化，...
-
Meta 刚刚发布 Llama 3.1 ：在 AI 战斗中向 OpenAI 发起了大规模挑战｜TodayAI
社交巨头 Facebook 母公司 Meta 公司近日发布了其 Llama 系列人工智能模型的最新版本 Llama 3.1，包括迄今为止最大的版本，容量达到 820GB。这一新版本标志着 Meta 在 AI 领域向 OpenAI 发起了大规模挑战，并宣称其...
-
开源模型也能强过闭源？Llama 3.1-405B数值对标GPT4！
Llama 3.1-405B引起AI浪潮：开源模型也能强过闭源？ Llama 3.1 就这几天，只要你有在关注AI相关的事，你就会看见一群人在讨论 Meta 新出的 Llama 3.1。外网无数的业内大佬都在为之疯狂，因为 Llama3...
-
苹果AI后台提示词曝光，工程师：别幻觉！别捏造事实！
苹果AI（Apple Intelligence）还没有正式到来，后台的提示词却意外曝光了。 事情是这样的。 上周苹果不是刚发布了包含生成式AI的开发者测试版本嘛，然后就有位开发者在茫茫文件夹里发现了个不得了的东西—— MacOS15.1Beta1里面，有疑...
-
基于C#调用文心一言大模型制作桌面软件(可改装接口)
目录 开发前的准备 账号注册 应用创建 应用接入 开始开发 创建项目 设计界面 使用 AK，SK 生成鉴权签名 窗体代码 百度智能云千帆大模型平台 什么是百度智能云千帆大模型平台 模型更新记录 开发前的准备 账号注册...
-
AIGC核心剖析：NLP与生成模型的协同作用
目录 AIGC核心剖析：NLP与生成模型的协同作用 NLP的基础与挑战 生成模型的强大能力 NLP与生成模型的协同作用 1. 机器翻译 2. 文本摘要 3. 对话系统 结论 AIGC核心剖析：NLP与生成模型的协同作用 在人工智能...
-
快速体验LLaMA-Factory 私有化部署和高效微调Llama3模型（曙光超算互联网平台异构加速卡DCU）
序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，私有化部署Llama3模型，并对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。 快速体验基础版本，...
-
llama-cpp-python
文章目录 一、关于 llama-cpp-python 二、安装 安装配置 支持的后端 Windows 笔记 MacOS笔记 升级和重新安装 三、高级API 1、简单示例 2、从 Hugging Face Hub 中提取模型 3、聊天完成...
-
最强大模型 Llama 3.1-405B 架构设计剖析
—1— 最强大模型 Llama 3.1-405B 简介 在历经了两天的提前“泄露风波”后，Llama 3.1 终于正式揭开面纱，由官方对外公布。 新版 Llama 3.1 将其上下文处理能力扩展至 128K，推出了 8B、70B 及 405B 三个不...
-
LLaMA模型量化方法优化:提高性能与减小模型大小
LLaMA模型量化方法优化:提高性能与减小模型大小 LLaMA模型量化方法优化:提高性能与减小模型大小 引言 新增量化方法 性能评估 7B模型 13B模型 结果分析 结论 LLaMA模型量化方法优化:提高性能与减小模型大小...