-
AIGC助力ResNet分类任务：跃升10个百分点
目录 AIGC?缓解数据稀缺问题❓ 论文研究的动机✏️ 作者是怎么做的❓ 实验配置? 实验结果? 结论✅ 实践? 要增强的裂缝图片 按照论文中的参数在stable-diffusionv1-5上进行textual inversion微调...
-
AIGC实战：LLaMA2打造中文写作利器——数据准备与模型训练全攻略
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2...
-
AI+视频娱乐平台大盘点，谁会成为下一个“Netflix”
故事，是对现实的剖析和重构。讲好一个故事，需要创造性地把素材组织起来。在 AI 时代，一个好的故事又将如何被呈现出来呢? 今年，是视频生成类产品爆发式增长的一年。在AI生成的视频中，我们看到创作者在用一种新的方式讲述着自己的故事。 同样，AI 视频内容...
-
我国发布首个亿级参数量地震波大模型：名为“谛听”
快科技7月29日消息，据成都科技局官方公众号介绍，日前谛听”地震波大模型在四川成都发布。 谛听”由国家超级计算成都中心、中国地震局地球物理研究所以及清华大学联合开发，是首个亿级参数量的地震波大模型。 同时，谛听”也是目前国内外最大规模、样本类型和标注最为全...
-
Unsloth 微调 Llama 3
本文参考：https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/det...
-
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
前言 按我原本的计划，我是依次写这些文章：解读mamba2、解读open-television、我司7方面review微调gemma2，再接下来是TTT、nature审稿微调、序列并行、Flash Attention3.. 然TTT还没写完，7.23日...
-
用LoRA微调 Llama 2：定制大型语言模型进行问答
Fine-tune Llama 2 with LoRA: Customizing a large language model for question-answering — ROCm Blogs (amd.com 在这篇博客中，我们将展示如何在AM...
-
Llama 对决 GPT：AI 开源拐点已至?｜智者访谈
Meta 发布 Llama3.1405B，开放权重大模型的性能表现首次与业内顶级封闭大模型比肩，AI 行业似乎正走向一个关键的分叉点。扎克伯格亲自撰文，坚定表明「开源 AI 即未来」，再次将开源与封闭的争论推向舞台中央。 回望过去，OpenAI 从开源到封...
-
【AIGC】Llama-3 官方技术报告
Llama-3 技术报告（中文翻译） 欢迎关注【youcans的AGI学习笔记】原创作品 0. 简介 现代人工智能（AI）系统的核心驱动力来自于基础模型。 本文介绍了一组新的基础模型，称为 Llama 3。它是一个语言模型系列，原生支持多语言...
-
Stable Diffusion系列（六）：原理剖析——从文字到图片的神奇魔法（潜空间篇）
文章目录 LDM 概述 原理 模型架构 自编码器模型 扩散模型 条件引导模型 图像生成过程 实验结果 指标定义 IS（越大越好） FID（越小越好） 训练成本与采样质量分析 不带条件的图片生成 基于文本的图片生成 基于语义框的图片生...
-
【AIGC】百度文心大模型智能体平台 - 灵境矩阵
百度文心大模型智能体平台 - 灵境矩阵 引言 一、体验不同的智能体 1. 姓名解析 - 大米粥哥哥 2. 二次元人物创作 - 正在喝大米粥的大米粥哥哥 3. 网名性格解析 - 大米粥哥哥 4. 姓名作诗 - 大米粥哥哥 二、创建智能体 1...
-
函数调用：在 xLAM 上微调 Llama 3得益于 QLoRA，速度快且内存高效
欢迎来到雲闪世界.最近的大型语言模型 (LLM 在大多数语言生成任务中都表现出色。然而，由于它们基于下一个标记预测进行操作，因此它们通常难以准确执行数学运算。此外...
-
LLama 405B 技术报告解读
LLama 405B 技术报告解读 果然传的消息都是真的，meta在24号凌晨发布了llama 3的405B版本，这次还是做一个技术报告解读。 值得一提的是，在技术报告的开头，meta特意强调了一个 Managing complexity，大意是管控...
-
硅谷AI保卫战打响！最强4050亿开源模型Llama 3.1上线，OpenAI：GPT-4o mini免费用｜最新快讯
Meta CEO扎克伯格强调，美国在 AI 发展方面永远领先中国数年是不现实的。但他也指出，即使是几个月的微小领先也会随着时间的推移而“积少成多”，从而使美国获得“明显优势”。 （图片来源：Meta AI） 就在今天凌晨，Meta和OpenAI...
-
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了 机器之心 2024年07月19日 12:27 辽宁 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了200...
-
第43篇：实现企业级大型AIGC项目：模型并行与分布式训练
在构建企业级大型AIGC（人工智能生成内容）项目时，模型并行与分布式训练是提升计算效率和处理能力的关键技术。随着模型规模和数据量的不断增长，单台设备的计算能力往往无法满足需求。因此，利用多台设备进行并行计算和分布式训练成为了必然选择。本文将深入讲解模型并行...
-
【AI绘画教程】Stable Diffusion 1.5 vs 2
在本文中，我们将总结稳定扩散 1 与稳定扩散 2 辩论中的所有要点。我们将在第一部分中查看这些差异存在的实际原因，但如果您想直接了解实际差异，您可以跳下否定提示部分。让我们开始吧！ Stable Diffusion 2.1 发布与1.5相比，2.1旨...
-
Pixel-Aware Stable Diffusion for Realistic Image Super-Resolution and Personalized Stylization
香港理工大学&bytedance&alibaba https://github.com/yangxy/PASD/ https://arxiv.org/pdf/2308.14469 问题引入 当前的基于SD的方法缺乏对图片结构的保持，所以本...
-
微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖
编者注：之前一直用firefly做微调，最近切换到LLaMA-Factory，发现不但简单易用，而且非常全面，有点相见恨晚的感觉。使用过程中我主要参考2个文档，一个是github上的官方中文文档： https://github.com/hiyouga/L...
-
ChatGLM3-6B使用lora微调实体抽取，工具LLaMA-Factory，医学数据集CMeEE
一、下载ChatGLM3-6B 下载地址，需要魔法 测试模型： 新建文件predict.py。运行下面测试代码。建议这里的transformers包最好和LLaMA-Factory环境的transformers包版本保持一致或者直接用LLaMA-Fa...
-
AI日报：OpenAI推搜索引擎SearchGPT；智谱推AI视频产品清影；字节发布豆包图生图模型；B站上线AIGC推荐广告标题功能
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、挑战谷歌!OpenAI推搜索引...
-
AIGC从入门到实战：AI 助力市场调研和策划，让营销如虎添翼
AIGC从入门到实战：AI 助力市场调研和策划，让营销如虎添翼 1. 背景介绍 1.1 问题的由来 在当今数字化时代，企业面对着海量且多样的市场信息，从消费者行为、竞争对手动向到行业趋势，都可能影响着营销策略的制定。收集、整合和分析这些信息是一个耗时...
-
LoRA6~Stable Diffusion
这里说LoRA 在 Stable Diffusion 中的三种应用 LoRA 是当今深度学习领域中常见的技术。对于 SD，LoRA 则是能够编辑单幅图片、调整整体画风，或者是通过修改训练目标来实现更强大的功能。LoRA 的原理非常简单，它其实就是用两个参...
-
LlaMa 2
目录 LlaMa 2 介绍： Llama 的诞生： Llama 2 的训练数据集是如何构建和选择的？ Llama 2 在自然语言处理（NLP）任务中的具体应用案例有哪些？ Llama 2 模型在商业应用中的表现如何，有哪些成功案例？ Ll...
-
AI训AI惨遭投毒9次大崩溃，牛津剑桥等惊天发现登Nature封面！
9次迭代后，模型开始出现诡异乱码，直接原地崩溃!就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法?那就是——更多使用人类数据! 用AI生成的数据训练AI，模型会崩溃? 牛津、剑桥、帝国理工、多...
-
Training for Stable Diffusion
1.Training for Stable Diffusion 笔记来源： 1.Denoising Diffusion Probabilistic Models 2.最大似然估计(Maximum likelihood estimation 3.Und...
-
【大语言模型LLMs】Llama系列简介
【大语言模型LLMs】Llama系列简介 文章目录 【大语言模型LLMs】Llama系列简介 1. LLaMa 1.1 引言 1.2 方法 1.2.1 预训练数据 1.2.2 架构 1.2.3 优化器 1.2.4 效率 2....
-
【大模型】微调实战—使用 ORPO 微调 Llama 3
ORPO 是一种新颖微调（fine-tuning）技术，它将传统的监督微调（supervised fine-tuning）和偏好对齐（preference alignment）阶段合并为一个过程。这减少了训练所需的计算资源和时间。此外，实证结果表明，ORP...
-
【三维AIGC】扩散模型LDM辅助3D Gaussian重建三维场景
标题：《Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models》 来源：Glasgow大学；爱丁堡大学 连接：https://arxiv.org/abs/2406.13099...
-
GPT-4o mini登顶大模型竞技场，奥特曼：两个月内微调免费
刚刚，GPT-4o mini版迎来“高光时刻”—— 登顶了lmsys大模型竞技场，和满血版并列第一，还把Claude3.5甩在了身后。 不同于一般的数据集测评，大模型竞技场是用户自己出题、用脚投票的结果，无法通过“刷题”来走捷径，因此更为真实。 这个成绩...
-
【技术追踪】SDSeg：医学图像的 Stable Diffusion 分割（MICCAI-2024）
这医学图像分割领域啊，终究还是被 Stable Diffusion 闯进去了~ SDSeg：第一个基于 Stable Diffusion 的 latent 扩散医学图像分割模型，在五个不同医学影像模态的基准数据集上超越了现有的最先进方法~ 论...
-
一文者懂LLaMA 2（原理、模型、训练）
引言 LLaMA（Large Language Model Meta AI）是Meta（前身为Facebook）开发的自然语言处理模型家族之一，LLaMA 2作为其最新版本，展示了在语言理解和生成方面的显著进步。本文将详细解读LLaMA 2的基本原理、...
-
使用LLaMA-Factory微调大模型
使用LLaMA-Factory微调大模型 github 地址https://github.com/hiyouga/LLaMA-Factory 搭建环境 git clone --depth 1 https://github.com/hiyouga/...
-
长上下文能力只是吹牛？最强GPT-4o正确率仅55.8%，开源模型不如瞎蒙
【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。 大数字一向吸引眼球。 千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下...
-
2024-06-21 问AI: 在大语言模型中，什么是LLama Index
文心一言 LLama Index是一个针对基于LLM（大型语言模型）的应用程序的数据框架，旨在提供RAG（检索增强生成，Retrieval-Augmented Generation）能力。以下是关于LLama Index的清晰概述： 定义与功能：...
-
Meta的Llama-3.1-405B遭泄漏，可下载，性能超GPT-4o！
7月23日凌晨，有人爆料，Meta的Llama3.1-405B评测数据遭遇泄漏，明天可能会发布Llama3系列中最大的参数模型，同时还会发布一个Llama3.1-70B版本。 这也是在3.0版本基础之上进行了功能迭代，即便是70B的基础模型的性能也超过了G...
-
首个超越GPT4o级开源模型！Llama 3.1泄密：4050亿参数，下载链接、模型卡都有了
Llama3.1终于现身了，不过出处却不是 Meta 官方。 今日，Reddit 上新版 Llama 大模型泄露的消息遭到了疯传，除了基础模型，还包括8B、70B 和最大参数的405B 的基准测试结果。 下图为 Llama3.1各版本与 OpenAI G...
-
每日AIGC最新进展(47)：华中科技大学联合南京大学提出大型人体数据集WildAvatar
Diffusion Models专栏文章汇总：入门与实战 WildAvatar是一个来自YouTube的大型数据集，拥有10,000多个人类受试者，旨在解决现有实验室数据集在头像创建方面的局限性。 用于虚拟角色创建的现有人类数据集通常仅限于实验...
-
苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果
苹果最新杀入开源大模型战场，而且比其他公司更开放。 推出7B模型，不仅效果与Llama38B相当，而且一次性开源了全部训练过程和资源。 要知道，不久前Nature杂志编辑Elizabeth Gibney还撰文批评: 而苹果这次竟然来真的!! 就连NLP...
-
【05】LLaMA-Factory微调大模型——初尝微调模型
上文【04】LLaMA-Factory微调大模型——数据准备介绍了如何准备指令监督微调数据，为后续的微调模型提供高质量、格式规范的数据支撑。本文将正式进入模型微调阶段，构建法律垂直应用大模型。 一、硬件依赖 LLaMA-Factory框架对硬件和软件的...
-
视频大语言模型调研论文《Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding》解读
本文是关于论文《Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding》的简要介绍。Video-LLaMA是阿里达摩院的一个多模态大语言模型...
-
LLaMa-Factory微调chatglm3实战
文章目录 算力机器准备 LLMa-Factory环境搭建 克隆项目 创建环境（可省略） 遇到问题 解决方法 安装依赖 启动web UI页面 设置代理（本地浏览器访问） 下载模型 准备数据集 微调 加载新模型 成果测试 算力机...
-
OpenAI掀小模型血战！苹果DCLM强势登场，碾压Mistral 7B全开源
【新智元导读】小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场，Mistral AI、HuggingFace本周接连发布了小模型。如今，苹果也发布了70亿参数小模型DCLM，性能碾压Mistral-7B。 小模型的战场，打起来了!...
-
【八股文】算法岗位八股文、深度学习、AIGC八股文面试经验（一）
1. 请解释一下Batch Normalization的原理及其在训练深度神经网络中的作用。 Batch Normalization（批归一化）是一种在训练深度神经网络时常用的技术，旨在提高训练速度、稳定性和性能。 2. 在图像预处理过程中，如何选择合适...
-
深入探索：Stable Diffusion 与传统方法对比：优劣分析
深入探索：Stable Diffusion 与传统方法对比：优劣分析 一、引言 随着人工智能和深度学习的发展，优化算法在神经网络训练中的重要性日益凸显。传统的优化方法，如随机梯度下降（SGD）、动量法和Adam等，已广泛应用于各类深度学习任务。然而...
-
Github Copilot - AI辅助编程工具的使用反馈和技巧分享
背景介绍 过去的两个月，我尝试使用Github Copilot作为前端开发和Javascript编程的辅助工具。下面分享一些相关的Github Copilot使用技巧。这并不是一个全面的Github Copilot使用指令介绍。关于完整和详细的指令介绍...
-
llama-factory微调工具使用入门
一、定义 环境配置 案例： https://zhuanlan.zhihu.com/p/695287607 chatglm3 案例 多卡训练deepspeed llama factory 案例Qwen1.5 报错 二、实现 环境配置 git cl...
-
百度大模型文心一言api 请求错误码 一览表
错误码说明 千帆大模型平台API包含两类，分别为大模型能力API和大模型平台管控API，具体细分如下： 大模型能力API 对话Chat 续写Completions 向量Embeddings 图像Images 大模型平台管控API...
-
AFAC2024-基于保险条款的问答 比赛日记 llamafactory qwen npu 910B1
AFAC2024: 基于保险条款的问答挑战——我的实战日记 概述 在最近的AFAC2024竞赛中，我参与了基于保险条款的问答赛道。这是一次深度学习与自然语言处理的实战演练，旨在提升模型在复杂保险文本理解与问答生成方面的能力。本文将分享我的参赛过程，...
-
「数据墙」迫近？苹果OpenAI等巨头走投无路，被迫「偷师」YouTube视频！
【新智元导读】近日，《连线》杂志联合ProofNews联合发表一篇调查文章，指责苹果、Anthropic等科技巨头未经许可使用YouTube视频训练AI模型。但训练数据的使用边界究竟在哪里?创作者、大公司和开发者正在陷入知识产权的罗生门…… AI科技巨头的...