-
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
上文介绍了如何对微调后的模型进行使用与简单评估。本文将介绍对微调后的模型进行导出的过程。 一、llama-3微调后的模型导出 首先进入虚拟环境，打开LLaMA-Factory的webui页面 conda activate GLM cd LLaMA-F...
-
使用LLaMA-Factory对Llama3-8B-Chinese-Chat进行微调
文章目录 模型及数据： 模型下载 数据 LLaMA-Factory启动 拉取代码 启动webui 模型训练 数据导入 数据预览 设置模型路径 配置参数及参数的保存 开始训练 过程观察 加载模型、对话 模型导出、再次加载...
-
我国发布首个亿级参数量地震波大模型：名为“谛听”
快科技7月29日消息，据成都科技局官方公众号介绍，日前谛听”地震波大模型在四川成都发布。 谛听”由国家超级计算成都中心、中国地震局地球物理研究所以及清华大学联合开发，是首个亿级参数量的地震波大模型。 同时，谛听”也是目前国内外最大规模、样本类型和标注最为全...
-
Unsloth 微调 Llama 3
本文参考：https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/det...
-
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
前言 按我原本的计划，我是依次写这些文章：解读mamba2、解读open-television、我司7方面review微调gemma2，再接下来是TTT、nature审稿微调、序列并行、Flash Attention3.. 然TTT还没写完，7.23日...
-
【AIGC】Llama-3 官方技术报告
Llama-3 技术报告（中文翻译） 欢迎关注【youcans的AGI学习笔记】原创作品 0. 简介 现代人工智能（AI）系统的核心驱动力来自于基础模型。 本文介绍了一组新的基础模型，称为 Llama 3。它是一个语言模型系列，原生支持多语言...
-
AIGC学习笔记—LLM（前言）
大语言模型本身我不是很了解，但是掌握一些基础的知识点，由于要准备某个公司的二面，所以浅学一下这个技术，也是边摸索边学习...... 首先，我先简单的解释一下大模型，大模型是指具有大规模参数和复杂计算结构的机器学习模型，通常由深度神经网络构建而成，拥有数十...
-
AI多模态模型架构之LLM主干(3)：Llama系列
〔探索AI的无限可能，微信关注“AIGCmagic”公众号，让AIGC科技点亮生活〕 本文作者：AIGCmagic社区 刘一手 前言 AI多模态大模型发展至今，每年都有非常优秀的工作产出，按照当前模型设计思路，多模态大模型的架构主要包括...
-
LLama 405B 技术报告解读
LLama 405B 技术报告解读 果然传的消息都是真的，meta在24号凌晨发布了llama 3的405B版本，这次还是做一个技术报告解读。 值得一提的是，在技术报告的开头，meta特意强调了一个 Managing complexity，大意是管控...
-
第43篇：实现企业级大型AIGC项目：模型并行与分布式训练
在构建企业级大型AIGC（人工智能生成内容）项目时，模型并行与分布式训练是提升计算效率和处理能力的关键技术。随着模型规模和数据量的不断增长，单台设备的计算能力往往无法满足需求。因此，利用多台设备进行并行计算和分布式训练成为了必然选择。本文将深入讲解模型并行...
-
【AI绘画教程】Stable Diffusion 1.5 vs 2
在本文中，我们将总结稳定扩散 1 与稳定扩散 2 辩论中的所有要点。我们将在第一部分中查看这些差异存在的实际原因，但如果您想直接了解实际差异，您可以跳下否定提示部分。让我们开始吧！ Stable Diffusion 2.1 发布与1.5相比，2.1旨...
-
自回归模型胜过扩散模型：用于可扩展图像生成的 Llama
? 文献卡 Autoregressive Model Beats Diffusion: Llama for Scalable Image Generation 作者: Peize Sun; Yi Jiang; Shoufa Chen; Shil...
-
SD教程| 如何撰写一个优秀的 stable diffusion 提示词？
大家好我是极客菌！！！在本文中，我将详细介绍如何撰写一个优秀的提示词。 首先，需要明确的是，称一种方式为好，并不意味着你只能使用这种方式，就像我们都知道一些书籍是好书，但并不意味着每个人都只能阅读这些书一样。通过学习其中一种好的方式，可以建立起一些概念，...
-
LlaMa 2
目录 LlaMa 2 介绍： Llama 的诞生： Llama 2 的训练数据集是如何构建和选择的？ Llama 2 在自然语言处理（NLP）任务中的具体应用案例有哪些？ Llama 2 模型在商业应用中的表现如何，有哪些成功案例？ Ll...
-
AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据! 用AI生成的数据训练AI，模型会崩溃? 牛津、剑桥、帝国理工、多...
-
【大语言模型LLMs】Llama系列简介
【大语言模型LLMs】Llama系列简介 文章目录 【大语言模型LLMs】Llama系列简介 1. LLaMa 1.1 引言 1.2 方法 1.2.1 预训练数据 1.2.2 架构 1.2.3 优化器 1.2.4 效率 2....
-
Stable Diffusion工作原理一篇文章带你详解！
前言 翻译自How does Stable Diffusion work? 1. SD能做什么 最基本的功能是：文生图（text-to-image） SD以文字提示为输入，输出与提示相配的图像 2. 扩散模型 SD属于扩散模...
-
AIGC背后的技术基石：自然语言处理与机器学习
目录 AIGC背后的技术基石：自然语言处理与机器学习 自然语言处理（NLP） 机器学习 AIGC的应用 AIGC背后的技术基石：自然语言处理与机器学习 自然语言处理（NLP）和机器学习是构建AI教学工具"风变科技"中的语言模型所依赖的重要...
-
半年过去，AI视频卷到哪儿了？
自从今年年初Sora露面后，国内国外都想用AI颠覆好莱坞，近期的AI视频圈更是十分热闹，产品一个接一个发布，都喊着要赶超Sora。 国外两家AI视频初创公司率先开打，旧金山人工智能科技公司Luma推出Dream Machine视频生成模型，并扔出堪称电影级...
-
首个超越GPT4o级开源模型！Llama 3.1泄密：4050亿参数，下载链接、模型卡都有了
Llama3.1终于现身了，不过出处却不是 Meta 官方。 今日，Reddit 上新版 Llama 大模型泄露的消息遭到了疯传，除了基础模型，还包括8B、70B 和最大参数的405B 的基准测试结果。 下图为 Llama3.1各版本与 OpenAI G...
-
Llama 3模型：更自由、更强大的AI对话体验
引言 人工智能领域正在经历一场革命，大型语言模型（LLM）的不断进步正在重塑我们与机器交互的方式。在这个快速发展的领域中，Meta公司推出的Llama系列模型一直备受关注。最新发布的Llama 3模型在多个方面都展现出了显著的进步，尤其是在减少不必要的...
-
Stable Diffusion保姆级安装指南！（附2024安装包）
软件下载 [软件名称]：Stable Diffusion 4.8 [软件大小]：16.45G [安装环境]：Win10~Win11或更高 [下载通道]： 软件介绍 Stable Diffusion v4.8简称SD是目前最火的...
-
OpenAI掀小模型血战！苹果DCLM强势登场，碾压Mistral 7B全开源
【新智元导读】小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场，Mistral AI、HuggingFace本周接连发布了小模型。如今，苹果也发布了70亿参数小模型DCLM，性能碾压Mistral-7B。 小模型的战场，打起来了!...
-
AI绘画出来的作品有哪些特点？
AI绘画作品的特点包括： 1. 风格多样化：AI绘画可以模拟各种艺术风格，使得作品具有很强的艺术感和视觉冲击力。 2. 色彩饱满：AI绘画生成的色彩丰富且鲜艳，往往能够吸引人们的注意力。 3. 细节丰富：AI绘画生成的图像具有丰富的细节和纹理，这些细...
-
「数据墙」迫近？苹果OpenAI等巨头走投无路，被迫「偷师」YouTube视频！
【新智元导读】近日，《连线》杂志联合ProofNews联合发表一篇调查文章，指责苹果、Anthropic等科技巨头未经许可使用YouTube视频训练AI模型。但训练数据的使用边界究竟在哪里?创作者、大公司和开发者正在陷入知识产权的罗生门…… AI科技巨头的...
-
LLaMA-Factory/scripts/length_cdf.py 源码解析
这段代码定义了一个函数 length_cdf，用来计算和打印数据集样本长度的累积分布函数（CDF），并在脚本直接运行时通过 fire 库将该函数暴露为命令行接口。我们逐行解释这段代码： python 复制 from llmtuner.data imp...
-
AI绘画：多种XP一次满足（Stable Diffusion进阶篇：模型训练）
前言 今天，是一个比较特殊的日子。 从我开始学习AI绘画开始到现在AI工具相关的笔记我已经写了50篇了，其中估摸着得近40篇都是关于Stable Diffusion的。 在这一天天的学习中我感受到了对知识的疲倦，是时候给自己来点奖励了！ 所以...
-
【AIGC调研系列】VILA-1.5版本的视频理解功能如何
VILA-1.5版本的视频理解功能表现出色，具有显著的突破。这一版本不仅增强了视频理解能力，还提供了四种不同规模的模型供用户选择，以适应不同的应用需求和计算资源限制[1][2][3]。此外，VILA-1.5支持在笔记本等边缘设备上部署，这得益于其高效的模型...
-
Stable Diffusion模型训练 — Embeddings（附Demo）
文本反演 提到文本反演你可能会比较陌生，但它产出的模型类型Embeddings（词嵌入）一定是你出图过程里经常会使用到的，它是一种轻量、小巧的微调模型格式，文件名后缀一般为.pt（或.safetensor），每个Embeddings文件的大小在几KB到几...
-
提示词用上“过去式“，秒破GPT4o等六大模型安全限制！中文语境也好使
只要在提示词中把时间设定成过去，就能轻松突破大模型的安全防线。 而且对GPT-4o尤其有效，原本只有1%的攻击成功率直接飙到88%，几乎是“有求必应”。 有网友看了后直言，这简直是有史以来最简单的大模型越狱方式。 来自洛桑联邦理工学院的一篇最新论文，揭开...
-
阿里云全面升级GPU云服务：AI大模型推理性能可提升100%
快科技7月19日消息，阿里云推出全面升级的GPU云服务，通过全新优化GPU套件，多GPU推理服务性能可最大提升100%。 针对调用GPU算力最常用的容器技术，阿里云推出ACK云原生AI套件，帮助开发者及企业更高效地开发和部署AI应用，加速大模型应用落地。...
-
【科学研究】AIGC可版权性认定的一般规则构建
::: block-1 “时问桫椤”是一个致力于为本科生到研究生教育阶段提供帮助的不太正式的公众号。我们旨在在大家感到困惑、痛苦或面临困难时伸出援手。通过总结广大研究生的经验，帮助大家尽早适应研究生生活，尽快了解科研的本质。祝一切顺利！——时问桫椤 非...
-
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域
AIGC从入门到实战：ChatGPT 简介：从 GPT1 到 GPT4 的发展历程和应用领域 1. 背景介绍 1.1 问题的由来 自然语言处理(Natural Language Processing, NLP 是人工智能(Artificial...
-
大模型学习笔记3【大模型】LLaMA学习笔记
文章目录 学习内容 LLaMA LLaMA模型结构 LLaMA下载和使用 好用的开源项目[Chinese-Alpaca](https://github.com/ymcui/Chinese-LLaMA-Alpaca Chinese-Alpaca...
-
Stable Diffusion背后的技术原理与实现细节
Stable Diffusion背后的技术原理与实现细节 I. 引言 A. Stable Diffusion的定义 B. 技术重要性概述 C. 本文目标与结构 II. 深度学习与图像生成 A. 深度学习简介 B. 图像生成任务 C. 生成...
-
AI写作会重复吗？七个角度解析疑虑
大家好，今天来聊聊AI写作会重复吗？七个角度解析疑虑，希望能给大家提供一点参考。 以下是针对论文AI辅写率高的情况，提供一些修改建议和技巧，可以借助此类工具： 还有： 标题：AI写作会重复吗？七个角度解析疑虑 随着人工智能技术的迅猛发展，A...
-
Stable Diffusion：解锁AIGC的图像生成新纪元
Stable Diffusion：解锁AIGC的图像生成新纪元 I. 引言 A. Stable Diffusion的概念与重要性 B. AIGC图像生成的历史背景 C. Stable Diffusion技术的兴起 II. Stable Di...
-
万字长文破解 AI 图片生成算法-Stable diffusion (第一篇）
想象一下：你闭上眼睛，脑海中构思一个场景，用简短的语言描述出来，然后“啪”的一声，一张栩栩如生的图片就出现在你眼前。这不再是科幻小说里才有的情节，而是Stable Diffusion——一种前沿的AI图片生成算法——所带来的现实。在本系列的万字长...
-
6700万参数比肩万亿巨兽GPT-4！微软MIT等联手破解Transformer推理密码
「因果推理」绝对是当前GenAI热潮下的小众领域，但是它有一个大佬级的坚定支持者——Yann LeCun。 他在推特上的日常操作之一，就是炮轰Sora等生成模型，并为自己坚信的因果推理领域摇旗呐喊。 甚至，早在2019年VentureBeat的采访中，他...
-
突破AI性能瓶颈 揭秘LLaMA-MoE模型的高效分配策略
获取本文论文原文PDF，请在公众号【AI论文解读】留言：论文解读 本文介绍了一种名为“LLaMA-MoE”的方法，通过将现有的大型语言模型（LLMs）转化为混合专家网络（MoE），从而解决了训练MoE时遇到的数据饥饿和不稳定性问题。该方法基于著名的LLa...
-
论文研读｜以真实图像为参考依据的AIGC检测
前言：这篇文章介绍几篇AIGC检测的相关工作，均是以真实图像的特征作为标准进行检测。 目录 Detecting Generated Images by Real Images Only (202311 arXiv Let Real...
-
规格拉满！Llama和Sora作者都来刷脸的中国AI春晚，还开源了一大堆大模型成果...
鱼羊 明敏 发自 凹非寺量子位 | 公众号 QbitAI 本周国内最受关注的AI盛事，今日启幕。 活动规格之高，没有哪个关心AI技术发展的人能不为之吸引—— Sora团队负责人Aditya Ramesh与DiT作者谢赛宁同台交流，李开复与...
-
【Llama 2的使用方法】
Llama 2是Meta AI（Facebook的母公司Meta的AI部门）开发并开源的大型语言模型系列之一。Llama 2是在其前身Llama模型的基础上进行改进和扩展的，旨在提供更强大的自然语言处理能力和更广泛的应用场景。 以下是Llama 2的一...
-
如何“正确“使用Stable Diffusion？文本到图像扩散模型中记忆化实用分析（浙大）
论文链接：https://arxiv.org/pdf/2405.05846 它能被生成吗？文本到图像扩散模型中记忆化的实用分析 过去几年见证了由扩散模型驱动的文本引导图像生成领域的重大进展。然而，已经显示出文本到图像扩散模型容易受到训练图像记忆的影响，引发...
-
深入了解语音识别：Distil-Whisper
Distil-Whisper模型概述 1.1 Distil-Whisper的背景与意义 随着语音识别技术的不断发展，模型的大小和计算复杂度成为了制约其广泛应用的重要因素。特别是在边缘设备和实时应用场景中，对模型的效率和性能提出了更高的要求。Dist...
-
Midjourney prompts 怎么写？怎么优化？
作者先说：这几天想系统整理下mj知识体系，从这篇开始都是对阅读官方文档后的个人解读，跳过了官方的quick start和Community guidelines，从prompt开始写起。才疏学浅，如有错误或更好的方法，拜托大家指正 什么是Prompt？...
-
大模型真的在吞噬人类的一切数据吗？
在弗兰克·赫伯特的《沙丘》中，沙漠星球厄拉科斯的沙丘下隐藏着一种无价之宝:香料。 这种神秘物质使太空旅行成为可能，能延长寿命，并具有扩展意识的效果，是宇宙中最宝贵的财富。“谁控制了香料，谁就控制了宇宙”。正如香料在《沙丘》宇宙中占据着至关重要的地位一样，在...
-
Llama 3 模型微调的步骤
环境准备 操作系统：Ubuntu 22.04.5 LTS Anaconda3：Miniconda3-latest-Linux-x86_64 GPU： NVIDIA GeForce RTX 4090 24G Step 1. 准备conda环境 创...
-
教你基于MindSpore用DCGAN生成漫画头像
本文分享自华为云社区《【昇思25天学习打卡营打卡指南-第二十天】DCGAN生成漫画头像》，作者：JeffDing。 DCGAN生成漫画头像 在下面的教程中，我们将通过示例代码说明DCGAN网络如何设置网络、优化器、如何计算损失函数以及如何初始化模型...
-
【AIGC 概念理解】Zero-Shot，One-Shot，Few-Shot，In-Context Learning，Tuning-Free/Training-Free/Inference-Only
在人工智能领域，特别是自然语言处理（NLP）和机器学习中，几个重要的概念正在推动研究和应用的前沿发展。以下是few-shot learning, zero-shot learning, in-context learning, tuning-free, t...