-
初识LLM大模型:入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作,有的人可能不会想了解这方面,自己实习做的方向与之相关,因此想调研总结一下行业热点方向与基础入门知识,还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
NVIDIA把Llama-3的上下文长度扩展16倍,长上下文理解能力超越GPT-4
在 Llama-3.1 模型发布之前,开源模型与闭源模型的性能之间一直存在较大的差距,尤其是在长上下文理解能力上。 大模型的上下文处理能力是指模型能够处理的输入和输出 Tokens 的总数。这个长度有一个限制,超过这个限制的内容会被模型忽略。一般而...
-
苹果AI iPhone定档;Llama 3.1爆冷;马斯克站台AI安全监管法案 | AI头条
整理 | 王启隆 出品 | AI 科技大本营(ID:rgznai100) 一分钟速览新闻点! 苹果宣布 9 月 10 日举行发布会 马斯克宣布将支持 SB 1047 AI 安全监管法案 特朗普:没人比马斯克更懂 A...
-
Datawhale AI夏令营第四期 魔搭-AIGC方向 task 01笔记
简介 从零入门AI生图原理&实践,是 Datawhale 2024 年 AI 夏令营第四期的学习活动(“AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习 适用人群: 想入门并实践 AIGC文生图、工...
-
VAD-LLaMA:基于大语言模型的视频异常检测和解释(Video Anomaly Detection and Explanation via Large Language Models)
文章目录 问题 方法 整体架构 VE and Feature Extraction Long-Term Context (LTC Module Feature Adaptor LLaMA 训练 流程图 第一阶段:训练VADor 第二阶段...
-
LORA模型在Stable Diffusion中的注意力机制优化
LORA模型在Stable Diffusion中的注意力机制优化 引言 1.1 Stable Diffusion在生成模型领域的地位和作用 1.2 介绍LORA模型及其在微调预训练模型时的效率和灵活性 1.3 强调注意力机制在LORA模型优化...
-
GPT-5降临,代号猎户座?OpenAI疑用草莓训练,数学推理暴涨超越所有模型
OpenAI的下一代旗舰大语言模型,要来了? 据悉,新模型代号Orion(猎户座),就是能超越GPT-4的下一代模型。 而猎户座的预训练数据,正是由草莓模型生成的。 而草莓模型驱动的聊天机器人,很可能就会在今年秋天上线! 关于OpenAI的草莓,外媒The...
-
AIGC-SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
论文: https://arxiv.org/pdf/2311.16933 代码:https://guoyww.github.io/projects/SparseCtrl MOTIVATION relying solely on text p...
-
Llama 3模型:多维度损失函数铸就大语言模型新巅峰
在人工智能领域,大型语言模型(Large Language Models, LLMs 的发展如火如荼。作为这一领域的佼佼者,Llama系列模型一直备受关注。随着Llama 3的横空出世,其在模型架构、训练方法等方面的创新再次引发业界热议。本文将深入探讨Ll...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型,在这一系列模型中参数量最大的高达405B,上下文窗口多达128K个token。同时对模型进行了广泛的实证评估,发现在很多任务中,LLaMA 3...
-
Datawhale X 魔搭 AI夏令营-AIGC Task 02 精读代码,实战进阶 --笔记
前言 Task 01 通过预训练模型的调用,在baseline上跑通模型,实现内容→图片。即,根据prompt中输入的文本描述,模型生成对应的图片。Task 02 深入学习。 目录 一、AI生图技术 1.1 基础点 1.2 技术难点 1.3...
-
ECCV2024 | 小成本微调CLIP大模型!CLAP开源来袭:零样本和少样本训练有救了!
论文链接:https://arxiv.org/pdf/2311.16445 代码链接:https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素:本文提出了一种通过对比学习和数据增强,从因果角度微...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型,广泛应用于自然语言处理(NLP)任务,如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...
-
Llama 3.1论文中文对照翻译
The Llama 3 Herd of Models 模型群 Llama 3 Llama Team, Al @ Meta 1...
-
Datawhale X 魔搭 AI夏令营 AIGC人物风格赛
工具初探一ComfyUI应用场景探索 什么是ComfyUI GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI 是GU...
-
Datawhale X 魔搭 AI夏令营第四期 | AIGC文生图——进阶上分 实战优化 Task3笔记
Hi,大家好,我是半亩花海。在上一个任务中,我们逐行精读baseline,掌握了利用AI工具提升学习效率,并制作了话剧连环画,初步了解Secpter WebUI。今天,我们将深入探讨微调的基本原理及其参数,旨在优化效果。同时,介绍文生图工作流平台Comfy...
-
深度解读 Llama 3.1 技术报告:从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1,引起了广泛的关注和讨论。随着热度逐渐退潮,Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面,...
-
Datawhale X 魔搭 AI夏令营-AIGC方向-LoRA学习笔记
LoRA(Low-Rank Adaptation)是一种用于优化大规模预训练模型的微调技术,特别适用于在资源有限的情况下,对模型进行高效且低成本的微调。LoRA的核心思想是通过低秩分解方法,仅微调模型的少数参数,从而显著减少计算成本和内存占用。 1. 背...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM,大型语言模型 (LLM 的发展已经取得了长足的进步。最初,LLM 训练过程仅侧重于预训练,但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准,这是由 ChatGPT 推广的。 自 Chat...
-
AI、AGI、AIGC与AIGC、NLP、LLM,ChatGPT区分
这些术语和技术都是人工智能(AI)领域的重要组成部分,它们之间有复杂的关系和相互交织的依存。以下是它们之间的关系和各自的定义: AI(人工智能): 定义:AI是指能够执行通常需要人类智能才能完成的任务的系统。这包括感知、推理、学习、决策和自...
-
Datawhale X 魔搭 AI夏令营 第四期 AIGC task3
part 1:认识comfyUI 1.初识ComfyUI 1.1什么是Comfy UI GUI是"Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。...
-
LLAMA 3.1 论文的见解
这有什么大不了的? LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效,任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较,...
-
Datawhale夏令营第四期——从零入门AI生图AIGC方向 task1笔记总结
#目录# 一、夏令营内容介绍 适宜学习人群 学习内容提要 二、挑战赛介绍 比赛要求 样例 三、跑通...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三...
-
大模型算法必学,万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色,包括文本分类、情感分析和生成式问答,本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3,值得读者点赞收藏! 引言 在AI领域...
-
基于LORA的Stable Diffusion模型在虚拟试衣中的应用
基于LORA的Stable Diffusion模型在虚拟试衣中的应用 引言 1.1 简述虚拟试衣的市场背景和技术需求 1.2 介绍LORA与Stable Diffusion模型的结合在虚拟试衣领域的潜力 1.3 强调基于LORA的Stable...
-
Datawhale X 魔搭 AI夏令营(AIGC Task3)学习笔记
目录 认识ComfyUI 1. 什么是 ComfyUI 2. ComfyUI 核心部件 3. ComfyUI 图片生成流程 4. ComfyUI 的优势 使用ComfyUI 下载ComfyUI: 运行ComfyUI: 自我学习: LOR...
-
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【新智元导读】就在刚刚,Meta最新发布的Transfusion,能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后,语言模型和图像大一统,又近了一步。也就是说,真正的多模态AI模型,可能很快就要来了! Transformer...
-
“Datawhale X 魔搭” AI夏令营第四期:AIGC方向——Task2&Task3
背景介绍 AIGC技术 AIGC(AI-Generated Content 是指基于生成对抗网络、大型预训练模型等人工智能的技术方法,通过已有数据的学习和识别,以适当的泛化能力生成相关内容的技术。例如,通过输入关键词、描述或样本...
-
无需抠图!AI绘画直接文本生成透明底图层,设计师必看的ComfyUI透明图层生成工作流教程!(附插件模型)
大家好,我是画画的小强 AI 绘画自出现以来一直都在不断发展完善,实现了很多我们在实际应用中迫切需要的功能,比如生成正确的手指、指定的姿势、准确的文本内容等。上周,又一个重磅新功能在开源的 SD 生态内实现了——直接通过文本直接生成透明底图像和图层!这将...
-
英伟达最新技术分享:手把手教你用Llama 3.1合成数据改进模型!附代码
【导读】 适逢Llama 3.1模型刚刚发布,英伟达就发表了一篇技术博客,手把手教你如何好好利用这个强大的开源模型,为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近,结果英伟达转头就甩出了340B开源巨兽Ne...
-
Datawhale X 魔搭 AI夏令营 AIGC Task2笔记
对于task2里的这几句话本人还是十分赞成的 定期关注AI生图的最新能力情况都十分重要: 对于普通人来说,可以避免被常见的AI生图场景欺骗,偶尔也可以通过相关工具绘图 对于创作者来说,通过AI生图的工具可以提效,快速制作自己所需要的内容 对...
-
【课程总结】day24(上):大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段,包括:预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
Stable Diffusion整合包与手动本地部署结合内网穿透远程AI绘画
文章目录 前言 1. 本地部署Stable Diffusion Web UI 1.1 整合包安装 1.2 手动安装Stable Diffusion Web UI 2. 安装Cpolar内网穿透 3. 实现公网访问Stable Diffusi...
-
探索法律智能的新高度:Lawyer LLaMA 项目深度解析
探索法律智能的新高度:Lawyer LLaMA 项目深度解析 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/la...
-
ACM MM2024 | 网易伏羲多模态研究再获国际认可,推动特定领域跨模态理解新突破
近日,第32届ACM国际多媒体学术会议(ACM International Conference on Multimedia,简称ACM MM)公布论文接收结果,网易伏羲最新研究成果《Selection and Reconstruction of Key...
-
Datawhale X 魔搭 AI夏令营 - AIGC方向(task01笔记)
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一、基础知识 二、实现步骤 1.克隆存储库: 2. 安装环境,然后重启kernel 3. 调整prompt 总结 前言 赛题介绍...
-
Datawhale AI 夏令营 “AIGC”方向 Task1:从零入门AI生图原理&实践
Task1:从零入门AI生图原理&实践 提示:本文为对平台文档的解读注释和补充 Task1:从零入门AI生图原理&实践 Task1:从零入门AI生图原理&实践 文生图 LoRA 提示词 模型参数解读和测试...
-
WhisperX 安装与使用指南
WhisperX 安装与使用指南 whisperXm-bain/whisperX: 是一个用于实现语音识别和语音合成的 JavaScript 库。适合在需要进行语音识别和语音合成的网页中使用。特点是提供了一种简单、易用的 API,支持多种语音识别和语音...
-
具身智能又进一步!卡内基梅隆&Meta&苏黎世联邦实现虚拟人超灵活抓取
论文链接:https://arxiv.org/pdf/2407.11385 github链接:https://www.zhengyiluo.com/Omnigrasp-Site/ 亮点直击 本文设计了一种灵巧且通用的人形机器人运动表示,这显...
-
GOLLIE : ANNOTATION GUIDELINES IMPROVE ZERO-SHOT INFORMATION-EXTRACTION
文章目录 题目 摘要 引言 方法 实验 消融研究 题目 Techgpt-2.0:解决知识图谱构建任务的大型语言模型项目 论文地址:https://arxiv.org/abs/2310.03668 摘要 大...
-
用Ollama 和 Open WebUI本地部署Llama 3.1 8B
说明: 本人运行环境windows11 N卡6G显存。部署Llama3.1 8B 简介 Ollama是一个开源的大型语言模型服务工具,它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。Ollama 的主要功能是在Docker容器内部署和...
-
开源模型应用落地-qwen2-7b-instruct-LoRA微调&模型合并-LLaMA-Factory-单机多卡-RTX 4090双卡(六)
一、前言 本篇文章将使用LLaMA-Factory去合并微调后的模型权重,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。 二、术语介绍 2.1. LoRA微调 LoRA (Low-Ra...
-
如何高效微调多模态Transformers模型:从入门到实践指南
多模态大模型(Multimodal Large Models)是能够处理多种类型数据(如文本、图像、音频等)的机器学习模型。transformers 是当前多模态大模型中的一种重要架构。 目录 Transformers简介 多模态Transforme...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记,如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...
-
Datawhale X 魔搭 AI夏令营 第四期 魔搭-AIGC方向 Task03笔记
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动(“AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。 Datawhale官方的速通教程链接: Task 1...
-
一文看懂llama2(原理&模型&训练)
Llama2(大型语言模型2) Llama2(大型语言模型2)主要基于近年来火爆的Transformer架构。下面是Llama2的几个核心原理: Transformer 架构: Llama2采用了Transformer网络,它通过自注意力机制来处理...
-
探索音乐的智慧:MU-LLaMA 模型引领文本到音乐生成新纪元
探索音乐的智慧:MU-LLaMA 模型引领文本到音乐生成新纪元 MU-LLaMAMU-LLaMA: Music Understanding Large Language Model项目地址:https://gitcode.com/gh_mirrors/...
-
Datawhale Al夏令营 AIGC方向 task2
1、代码解读 1.1、安装 Data-Juicer 和 DiffSynth-Studio # 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor # 安...
-
ComfyUI中的sam模型国内下载方法
was-node-suite-comfyui这个节点安装的时候,有它内部的config配置文件,里面其实给了一些下载地址,配置文件里是这么写的: "sam_model_vith_url": "https://dl.fbaipublicfiles.com/...