-
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
基于qwen2.5 手把手实战 自定义数据集 微调（llama-factory） 准备工作 1.数据集准备（例:民法典.txt） 2.服务器准备（阿里云 DSW 白嫖） 3.环境配置 pip 升级 模型下载 微调助手 4.数据集处理 脚...
-
腾讯HunyuanDit代码解析
注意：本文仅供自己记录学习过程使用。 训练 全参训练过程 输入图像用VAE编码得到输入的x_start(1,4,128,128 ；文本的两个特征：bert的encoder feature(1,77,1024 和T5 的feature(1,256...
-
【论文阅读笔记 + 思考 + 总结】MoMask: Generative Masked Modeling of 3D Human Motions
创新点： VQ-VAE ? Residual VQ-VAE，对每个 motion sequence 输出一组 base motion tokens 和 v 组 residual motion tokens bidirectional 的 Masked...
-
[从0开始AIGC][LLM]：LLM中Encoder-Only or Decoder-Only？为什么主流LLM是Decoder-Only？
LLM中Encoder-Only or Decoder-Only & 为什么主流LLM是Decoder-Only？ 文章目录 LLM中Encoder-Only or Decoder-Only & 为什么主流LLM是Dec...
-
【记录贴 | 持续更新】搜广推/aigc 面试题记录
目录 nlp/搜广推 transformer结构？ 位置编码的作用？ 解释 self-attention？ attention中 /√(d_k 的作用是什么？ 解释Multi-Head Attention？ FeedForward的作用...
-
国内外大模型汇总（包括科大星火、文心一言、通义千问、智普清言、华为大模型）
国内外大模型汇总 1. 科大讯飞星火认知大模型 主要特点： 多语言能力：以中文为核心，同时支持多语言处理，能够进行跨语种的语言理解和生成。 广泛的任务能力：具备内容生成、语言理解、知识问答、推理、数学计算、代码理解与生成等多种能力，能够处理复杂的自...
-
【笔记】扩散模型（七）：Latent Diffusion Models（Stable Diffusion）论文解读与代码实现
论文链接：High-Resolution Image Synthesis with Latent Diffusion Models 官方实现：CompVis/latent-diffusion、CompVis/stable-diffusion 这一...
-
Stable Diffusion训练LoRA模型参数详细说明（阿里巴巴堆友AI）
工具：线上模型训练堆友AI 一、训练参数 批量大小 (Batch Size 作用：每次训练中使用的样本数量。 参考值：可以从 8 到 64，取决于显存大小。 训练轮数 (Epochs 作用：完整遍历训练数据的次数。 参考值：通...
-
1000个Agent圈地模拟人类社会，北大校友创业AI版「我的世界」
北大校友打造的1000个智能体「我的世界」，火爆AI圈! 随便一条推文，都能引来几十万网友围观: 在这里，有着真正意义上的虚拟社会，包括文化、经济、宗教…… 每个智能体在GPT-4加持下，都是社会中独立自主的个体。 比如这位名叫Olivia的农民，受探...
-
揭秘AI世界：一网打尽大模型、AIGC等热门概念，快速提升你的学习力！
AI（人工智能） 人工智能 (AI 是对人类智慧行为的仿真。它涵盖了各种技术和领域，目的是让计算机模仿、延伸甚至超越人类智能。 本质就是帮人工作做事的工具。 AGI（通用人工智能） AGI，全称为Artificial General Inte...
-
心理健康问答系统-AIGC大模型-小程序制作
制作一个心理健康问答系统的小程序，涉及到多个环节和技术领域。这里将从需求分析、技术选型、开发流程、API调用等方面进行详细说明。 一、需求分析与规划 在开始任何项目之前，首先需要明确的是你的小程序想要解决什么样的问题，提供哪些功能给用户。对于心理健康...
-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
大模型+小模型协同处理跨文档理解任务，成本更低，性能更高
“Synergetic Event Understanding: A Collaborative Approach to Cross-Document Event Coreference Resolution with Large Language Mod...
-
与AI一起肝了300分钟《我的世界》：AI游戏搭子可以拯救手残党吗？
玩游戏“手残”，AI能不能来帮忙? 有着“中国第一款3A游戏”之称的《黑神话:悟空》上线后，不少此前没有太多ARPG游戏经验的玩家被其堪比电影的视听效果圈粉入坑，踏上了重走九九八一难的西游路。 《黑神话:悟空》发售版包含超过80个BOSS。对苦练技术的玩家...
-
浅谈AIGC的底层技术
人工智能生成内容（Artificial Intelligence Generated Content, 简称AIGC）是近年来AI技术发展的一个重要领域，它利用机器学习和自然语言处理等技术，让计算机能够自主创作文章、音乐、图像等多种类型的内容。本文将深入浅...
-
DIFFUSION 系列笔记| Latent Diffusion Model、Stable Diffusion基础概念、数学原理、代码分析、案例展示
目录 Latent Diffusion Model LDM 主要思想 LDM使用示例 LDM Pipeline LDM 中的 UNET 准备时间步 time steps 预处理阶段 pre-process 下采样过程 down sampl...
-
基于大模型的原神对话系统尝试
一.简介 该项目为一次大模型+游戏的尝试，成功实现了一个与原神内角色的对话系统。 演示视频：https://www.bilibili.com/video/BV1b48CeuELL github地址：https://github.com/goodlu...
-
AIGC大模型产品经理高频面试大揭秘‼️
近期有十几个学生在面试大模型产品经理（薪资还可以，详情见下图），根据他们面试（包括1-4面）中出现高频大于3次的问题汇总如下，一共32道题目（有答案）。 29.讲讲T5和Bart的区别，讲讲Bart的DAE任务 T5（Text-to-Text Tr...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记
LoRA（Low-Rank Adaptation）是一种用于优化大规模预训练模型的微调技术，特别适用于在资源有限的情况下，对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法，仅微调模型的少数参数，从而显著减少计算成本和内存占用。 1. 背...
-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
7天创收10万美金，新增25万用户，Wordware要做第一款AI OS
“每天发那么多推文，是想以量取胜吗?可惜质量没有跟上。你的深度分析就像把别人的观点重新包装了一下。” “每天都在转发那些你半懂不懂的AI新闻，是想让我们相信你真的懂吗?55000多个粉丝?我打赌他们一半都是机器人。你对AI的痴迷程度，让我怀疑你是不是想把自...
-
Anthropic工程师分享沉浸式体验，和「AI搭子」Claude共度完美一天
【新智元导读】沉浸式体验Anthropic提示词工程师与「完美拍档」Claude共度的一天! AI聊天机器人只能用来写文案和找资料? 那说明你对AI工具的开发还不到1%! 昨天，Anthropic工程师Alex Albert，在X上分享了他如何与「AI搭子...
-
知识图谱大模型系列之 17 使用 Llamaindex、Neo4j 和 Llama 3 构建具有知识图谱的高级 RAG 聊天机器人(教程含源码)
简介 通过集成知识图谱来构建高级检索增强生成 (RAG 聊天机器人的分步指南。在检索增强生成 (RAG 解决方案中集成知识图谱可通过提供结构化和关系上下文显著提高响应的相关性和深度。知识图谱在 RAG 解决方案中非常有用，例如在医疗保健领域。例如，...
-
论文阅读-Transformer Layers as Painters
1. 摘要 尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且...
-
Post-Training有多重要？AI2研究员长文详解前沿模型的后训练秘籍
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。 随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（...
-
微调（一）
微调有两种办法， 一是模型全部参数的微调，二是少量参数高效的微调。前者由于参数多，需要的GPU多，并且全参数微调可能把模型带偏，后者只需要微调少量参数，需要的GPU少，还可能达到不错的效果，成为大家研究的重点，取了个专有名词Parameter-Effic...
-
如何使用 Llama 3 构建本地文件生成式搜索引擎（附源码&文档）
系统设计 为了构建一个本地生成式搜索引擎或助手，我们需要几个组建： 包含本地文件内容的索引，具有信息检索引擎，用于检索给定查询/问题的最相关文档。 大语言模型，用于从本地文档中选择内容并生成摘要答案 一个用户界面 这些组件的交互方式如下...
-
AIGC大模型面经汇总，太全了！
字节 暑期实习 多模态算法 (二面凉经 一面 2024/3/28 下午17:00-18:00 1.上来没有自我介绍 2.直接介绍NeurIPS论文，中间穿插着一些提问 3.说一下Transformer的整体结构 4.了解有哪些位置编码方式吗 5.说一...
-
AIGC技术的现状、应用与未来发展
AIGC是一个充满魅力愿景。想象一下，通过先进的人工智能技术，不仅可以创造出吸引人的文本、生动的图像、动感的视频，还能制作出悦耳的音频——所有这些都是自动生成的！我们来介绍这些技术背后的原理，它们是如何运作的，以及它们在我们的生活中能扮演什么样的角色。从娱...
-
爆火毒舌AI每小时赚2.8万！每分钟36个新用户，火遍全球只因改了一句提示词
爆款AI应用开发者来晒收入了: 每小时赚4000美元!（约2.8万元） 说的就是病毒式传播的“毒舌AI”Twitter Personality，只需输入一个推特用户名，就能得到AI根据历史发言做的犀利点评。 而且只要是公开账号就行，并不需要获取任何权限，...
-
llama_fastertransformer对话问答算法模型
LLAMA 论文 https://arxiv.org/pdf/2302.13971.pdf 模型结构 LLAMA网络基于 Transformer 架构。提出了各种改进，并用于不同的模型，例如 PaLM。以下是与原始架构的主要区别： 预归一化。为了提高...
-
LLM大模型实战项目--基于Stable Diffusion的电商平台虚拟试衣
本文详细讲解LLM大模型实战项目，基于Stable Diffusion的电商平台虚拟试衣 一、项目介绍 二、阿里PAI平台介绍 三、阿里云注册及开通PAI 四、PAI_DSW环境搭建 五、SD+LORA模型微调 一、项目介绍 ...
-
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
上文介绍了如何对微调后的模型进行使用与简单评估。本文将介绍对微调后的模型进行导出的过程。 一、llama-3微调后的模型导出 首先进入虚拟环境，打开LLaMA-Factory的webui页面 conda activate GLM cd LLaMA-F...
-
AIGC生成式人工智能
AIGC生成式人工智能 什么是生成式AI，什么是AIGC？今天我们来详细的认识一下： 生成式人工智能AIGC（Artificial Intelligence Generated Content）是人工智能1.0时代进入2.0时代的重要标志。...
-
秘密打造「AI陶哲轩」 震惊数学圈！谷歌IMO梦之队首曝光，菲尔兹奖得主深度点评
【新智元导读】19秒破解几何难题，谷歌AI夺得IMO银牌在业界掀起了巨震。就连菲尔兹奖得主陶哲轩，前IMO美国队负责人罗博深都对此大加赞赏。更有AI大佬高调预测，若谷歌继续加码研究，应该可以造出一个「AI陶哲轩」。 谷歌DeepMind正在做的，是要打造出...
-
AI大模型原理（通俗易懂版）——AIGC
传送门：AI大模型原理（通俗易懂版）-CSDN博客 AIGC 说起近期的热门科技词汇，AIGC当之无愧位列其中。从某一天开始，我们突然发现AI可以帮忙生成文字图片音频视频等等内容了。而且让人难以分清背后的创作者到底是人类还是AI。 这些AI生...
-
【AI绘画教程】Stable Diffusion 1.5 vs 2
在本文中，我们将总结稳定扩散 1 与稳定扩散 2 辩论中的所有要点。我们将在第一部分中查看这些差异存在的实际原因，但如果您想直接了解实际差异，您可以跳下否定提示部分。让我们开始吧！ Stable Diffusion 2.1 发布与1.5相比，2.1旨...
-
AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据! 用AI生成的数据训练AI，模型会崩溃? 牛津、剑桥、帝国理工、多...
-
一文看懂 LLaMA 2：原理与模型训练介绍
近年来，人工智能领域的进展使得自然语言处理（NLP）技术得到了显著提升。LLaMA 2 是一种先进的语言模型，它在处理语言生成和理解任务上表现出色。本文将介绍 LLaMA 2 的基本原理、模型结构以及训练方法，帮助你全面了解这一技术。 1. LLaMA...
-
AIGC领域综述
AIGC领域综述 2023 1. A Survey of Large Language Models 2. A Complete Survey on Generative AI (AIGC : Is ChatGPT from GPT-4 to...
-
AIGC的行业发展
1. AIGC的行业发展 AIGC（Artificial Intelligence Generated Content，人工智能生成内容）是利用人工智能技术来自动生成内容的一种新型内容创作方式。它基于生成对抗网络(GAN 、大型预训练模型等技术，通过对已...
-
【小沐学AI】Python实现语音识别（whisper+HuggingFace）
文章目录 1、简介 1.1 whisper 2、HuggingFace 2.1 安装transformers 2.2 Pipeline 简介 2.3 Tasks 简介 2.3.1 sentiment-analysis 2.3.2 zero-...
-
专访诺奖得主：大模型是记忆还是理解？
物理学家理查德·费曼曾将自然世界比作众神的游戏，比如国际象棋——我们不知道游戏规则，但却可以观察棋盘，也许只是其中的一角，然后根据这些观察，试图找出游戏规则。 费曼的比喻，道出了科学研究的核心，也生动描绘了许多经济学家的工作，他们同样致力于从纷繁复杂的经济...
-
AIGC从入门到实战：关于企业和组织
作者：禅与计算机程序设计艺术 Artificial Intelligence (人工智能 G: Generation (生成 C: Content (内容 背景介绍 随着全球数字化转型的加速，企业与组织面临着前所未有的机遇与挑战。人工智能(A...
-
AIGC各个应用场景下的模型选择
需要注意的是，下述模型可以在不同任务和领域中灵活应用，它们的归属也会根据模型的设计和主要应用领域而有所变化，并不绝对。 自然语言处理模型 模型层中自然语言理解(Natural LanguageUnderstanding，NLU 和自然语言生成(N...
-
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域 1. 背景介绍 1.1 问题的由来 自然语言处理(Natural Language Processing, NLP 是人工智能(Artificial...
-
LLaMA原理与代码实例讲解
LLaMA原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大模型、LLaMA、Transformer、预训练、微调 1. 背景介绍 1.1 问题的由来...
-
基于MindSpore实现BERT对话情绪识别
本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十四天】基于 MindSpore 实现 BERT 对话情绪识别》，作者：JeffDing。 模型简介 BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder...
-
新研究：AI测谎能力比人类更强 但需谨慎使用
快科技7月15日消息，据媒体报道，德国维尔茨堡大学当地时间12日公布的最新研究显示，在假新闻、政治家的可疑言论和被操纵的视频日益泛滥的时代，人工智能在测谎方面的表现比人类更佳。 这项发表在《iScience》期刊上的研究，精心设计了一场实验：参与者被要求撰...