-
英伟达发布Nemotron-4:150亿参数通用大模型，目标单张A100/H100可跑
英伟达最新推出的Nemotron-4语言模型引起广泛关注。这一通用大模型拥有150亿参数，经过在8T token上的训练，在英语、多语言和编码任务中表现出色。具体而言，Nemotron-4在7个评估基准上的15B模型表现优异，超越同等参数规模的模型，甚至击...
-
理解Stable Diffusion、LoRA、Dreambooth、Hypernetworks、Textual Inversion、Checkpoint
前言 在深度学习和人工智能的领域中，模型生成和调整技术的快速发展为创造性内容的自动化提供了新的可能性。本文将介绍四种重要的模型技术——Stable Diffusion、LoRA、Dreambooth、和Hypernetworks——它...
-
李沐学AI--DALL·E 2 + Diffusion Model
DALL·E 2 CLIP的一半的反过程 clip是 text–> text feature image --> image fueture 对比找相似的，就能进行分类任务，将给定的图像与给定的text对应起来。 dall e2是 text...
-
当"狂飙"的大模型撞上推荐系统
随着以 ChatGPT 为代表的大模型技术的迅速发展，推荐系统正经历着一场革命性的变革。传统的推荐系统主要基于用户和物品的历史行为数据进行预测，大模型技术的出现，为推荐系统带来了更强的泛化能力和更高的效率，解决了传统推荐系统中的一些难题，如用户和物品...
-
8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了
几天前，ICLR 2024 的最终接收结果出来了。 大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。 当时，多位领域内的研究者分析，Decision Pending...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
用扩散模型生成网络参数，LeCun点赞尤洋团队新研究
如果你有被 Sora 生成的视频震撼到，那你就已经见识过扩散模型在视觉生成方面的巨大潜力。当然，扩散模型的潜力并不止步于此，它在许多其它不同领域也有着让人期待的应用前景，更多案例可参阅机器之心不久前的报道《爆火Sora背后的技术，一文综述扩散模型的最新发...
-
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。 为什么 Sora...
-
【AIGC】基于深度学习的图像生成与增强技术
摘要： 本论文探讨基于深度学习的图像生成与增强技术在图像处理和计算机视觉领域的应用。我们综合分析了主流的深度学习模型，特别是生成对抗网络（GAN）和变分自编码器（VAE）等，并就它们在实际应用中的效果和局限性展开讨论。通过比较实验和案例研究，我们评估了不...
-
【AIGC】Stable Diffusion的生成参数入门
Stable Diffusion 的生成参数是用来控制图像生成过程的重要设置，下面是一些常见的生成参数及其详解 1、采样器，关于采样器的选择参照作者的上一篇文章 2、采样步数（Sampling Steps）是指在生成图像时模型执行的总步数，每一步都包含了...
-
【AIGC】Stable Diffusion的ControlNet参数入门
Stable Diffusion 中的 ControlNet 是一种用于控制图像生成过程的技术，它可以指导模型生成特定风格、内容或属性的图像。下面是关于 ControlNet 的界面参数的详细解释： 低显存模式 是一种在深度学习任务中用于处理显存...
-
Latent Diffusion Models / Stable Diffusion（LDM）
High-Resolution Image Synthesis with Latent Diffusion Models（CVPR 2022）https://arxiv.org/abs/2112.10752latent-diffusionstable-di...
-
第三章：AIGC框架和应用场景
1.背景介绍 人工智能(AI 和机器学习(ML 技术在过去几年中取得了显著的进展，为许多领域带来了革命性的改变。自动化图像生成(AIGC 是一种使用AI和ML技术自动生成高质量图像的方法。AIGC框架可以应用于许多场景，例如生成艺术作品、设计、广...
-
SDXL-Lightning官网体验入口 字节跳动高分辨率AI图像生成软件工具app免费在线使用地址
SDXL-Lightning是字节跳动开发的图像生成模型，能够在一步或少步骤内生成高达 1024 像素分辨率的高质量图像。该模型通过渐进式对抗式蒸馏，显著提升了图像生成速度，使其可应用于需要快速响应的场景。模型已开源，支持兼容LoRA模块和其他控制插件，可...
-
Stable Diffusion WebUI Forge官网体验入口 AI图像生成工具软件免费使用地址
Stable Diffusion WebUI Forge是一个基于Stable Diffusion WebUI和Gradio开发的优质图像生成工具。它旨在优化资源管理、加速推理，并提供比原版WebUI更快的速度和更高的分辨率。通过新增的采样器和算法支持，以...
-
自然语言生成任务中的五种采样方法介绍和Pytorch代码实现
在自然语言生成任务(NLG 中，采样方法是指从生成模型中获取文本输出的一种技术。本文将介绍常用的5中方法并用Pytorch进行实现。 1、Greedy Decoding Greedy Decoding在每个时间步选择当前条件概率最高的词语作为输出，直到...
-
近期关于AIGC方面的学习笔记和思路整理
LLM 对于LLM，我现在重点关注在这几个方面： 开源且可私有化部署的代码生成模型： 因为大部分软件企业对于安全都很重视，文档、数据、代码一般都会尽量避免被泄露。所以很难使用类似Copilot或者OpenAI的Bito这种需要连到互联网上的服务。如果...
-
Copilot vs. ChatGPT: 探秘数字助手的神奇世界
欢迎来到这场Copilot和ChatGPT的奇妙对比之旅！在数字化的世界中，程序员和普通用户都受益于这两位强大的数字助手。本文将深入挖掘Copilot和ChatGPT的不同之处，解开它们神奇的工作原理，以及如何在工作和学习中最好地利用它们。 Copil...
-
【AIGC】Stable Diffusion的采样器入门
在 Stable Diffusion 中，采样器（Sampler）是指用于生成图像的一种技术或方法，它决定了模型如何从潜在空间中抽样并生成图像。采样器在生成图像的过程中起着重要作用，影响着生成图像的多样性、质量和创造性。以下是对 Stable Diffus...
-
Midjourney 中 /show 与 Job ID
Midjourney 提供了多种指令和工具，帮助用户在使用过程中更高效地管理和创作图像。其中，/show 指令是一个非常有用的功能，允许用户操作特定的图像生成任务。 使用 /show 指令 /show 指令可以与独特的作...
-
微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变
微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT，该技术可以极限压缩大模型的权重矩阵，将模型体量压缩25% 左右，同时保持性能不变。实验数据显示，在保持零样本任务性能的情况下，SliceGPT 成功应用于多个大型模型，如 LLAMA-270B...
-
看看 ChatGPT 和文心一言哪个更好用？
文心一言这样说： ChatGPT和文心一言分别适用于不同的领域，具体取决于它们的功能和优势。 ChatGPT适用于多个领域，其中最常见的包括： 对话系统：ChatGPT具有出色的自然语言处理能力，可以用于构建各种类型的对话系统，如客服...
-
全网最全stable diffusion模型讲解！快来！！小白必收藏！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取） AI模型最新展现出的图像生成能力远远超出人们的预期...
-
ChatGPT高效提问—基础知识（AIGC）
ChatGPT高效提问—基础知识 为了更好地学习AI和prompt相关知识，有必要了解AI领域的几个专业概念。 1.1 初识AIGC AIGC（artificial intelligence generated content）即人工智能生成的内...
-
吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速
在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。 前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，...
-
【读点论文】A Survey on Generative Diffusion Model，AIGC时代的新宠儿，从原理推导到工程应用，在视觉，自然语言，语音等领域大展拳脚
A Survey on Generative Diffusion Model Abstract 由于深度潜在表示，深度学习在生成任务中显示出良好的潜力。生成模型是一类可以根据某些隐含参数随机生成观测值的模型。近年来，扩散模型以其强大的生成能力成...
-
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
目录 一. 贡献概述 二. 方法详解 a 训练阶段 b 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（S...
-
首个环视世界模型DrivingDiffusion: BEV数据和仿真新思路！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度...
-
AIGC内容分享(五十三)：AIGC｜深入浅出一个完整的视频生成系统「VGen」核心基础知识
目录 一、VGen整体架构 二、VGen核心基础内容 三、快速上手使用VGen进行视频生成 四、VGen与SVD的比较 一、VGen整体架构 「VGen」是一个基于扩散模型的视频生成系统，提供以视频生成扩散模型为中心的强大代码库，具有先进...
-
图领域首个通用框架来了！入选ICLR'24 Spotlight，任意数据集、分类问题都可搞定
能不能有一种通用的图模型—— 它既能够根据分子结构预测毒性，又能够给出社交网络的朋友推荐？ 或者既能预测不同作者的论文引用，还可以发现基因网络中的人类衰老机制？ 你还真别说，被ICLR 2024接收为Spotlight的“One for All（OFA）...
-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
AI2发布开放语言模型OLMo 号称多项性能媲美Llama2
AI2最新发布的开放语言模型（OLMo）框架旨在推动大规模语言模型的研究和实验。通过在Hugging Face和GitHub上提供训练代码、模型和评估代码，AI2致力于让学术界和研究人员能够共同研究语言模型的科学，探索新的预训练数据子集对下游性能的影响，以...
-
BiTA：创新AI方法加速大型语言模型生成
近年来，基于transformer架构的大型语言模型（LLMs）已经崭露头角。Chat-GPT和LLaMA-2等模型展示了LLMs参数的迅速增加，从几十亿到数万亿。尽管LLMs是非常强大的生成器，但由于所有参数的计算负载，它们在推理延迟方面存在问题。因此，...
-
深度学习（生成式模型）—— stable diffusion：High-Resolution Image Synthesis with Latent Diffusion Models
文章目录 前言 motivation Conditioning Mechanisms 实验结果 如何训练autoencoder LDM性能与autoencoder深度的联系 LDM带来的图像生成速率提升 LDM在图像生成任务上与sota方法比...
-
【网安AIGC专题10.19】论文6（顶会ISSTA 2023）：提出新Java漏洞自动修复数据集：数据集 VJBench+大语言模型、APR技术+代码转换方法+LLM和DL-APR模型的挑战与机会
How Effective Are Neural Networks for Fixing Security Vulnerabilities 写在最前面 摘要 贡献 发现 介绍 背景：漏洞修复需求和Java漏洞修复方向 动机 方法 贡献...
-
最强开源多模态生成模型MM-Interleaved：首创特征同步器
想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。 最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...
-
Stable Diffusion完整入门指南，保姆级教程！
SD 保姆教程，从原理功能到案例输出展示，最后简述 ControlNet 的使用技巧。 Stable Diffusion 的基本介绍 首先官方给出的解释是： 这和 MJ 有什么区别？为了更方便理解我们将 Stable Diff...
-
ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三）
文章目录 ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三） Text-to-Text 模型 ChatGPT LaMDA PEER Meta AI Speech f...
-
Stable Diffusion学习
参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型，可以说Stable Diffusion的发布将AI图像生成提高到了全新...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
把图像视为外语，快手、北大多模态大模型媲美DALLE-3
当前的大型语言模型如 GPT、LLaMA 等在自然语言处理领域取得了显著进展，能够理解和生成复杂的文本内容。但你是否想过，如果能够将大语言模型这强大的理解和生成能力迁移到多模态数据上，就可以轻松理解海量的图像与视频，并辅助创作图文并茂的内容。近期，来自快...
-
ChatGPT vs 文心一言（AI助手全面比较）
随着人工智能的不断发展，ChatGPT（OpenAI）和文心一言都代表了当前先进的自然语言处理技术。它们在智能回复、语言准确性和知识库丰富度等方面都有各自的优势。在下面的比较中，我们将从多个角度探讨这两个AI助手，帮助你更好地选择适合你需求的工具。 1...
-
重塑3D生成核心理论：VAST、港大、清华用「零」训练数据生成了3D模型
无需任何训练数据，只需对着模型描述一句话，如「一个做作业的香蕉人」： 或是「一只戴着 VR 眼镜的猫」： 就能生成符合描述的带有高质量纹理贴图的 3D 场景。不仅如此，还能对已有的 3D 模型进行精细化贴图。 这是港大与清华大学联合 3D 生成明星...
-
无需人工标注！LLM加持文本嵌入学习：轻松支持100种语言，适配数十万下游任务
文本嵌入（word embedding）是自然语言处理（NLP）领域发展的基础，可以将文本映射到语义空间中，并转换为稠密的矢量，已经被广泛应用于各种自然语言处理（NLP）任务中，如信息检索（IR）、问答、文本相似度计算、推荐系统等等， 比如在IR领域，第...
-
360度无死角！UC伯克利华人发布3DHM框架：一张图片即可模仿任意视频动作
输入一张任意姿势的照片，想让照片里的人跟随「指定视频」来进行动作模仿并不简单，除了肢体动作的模仿外，模型还需要对运动过程中衣服、人物外观的变化进行建模。 如果输入图像是正面的，而模仿的视频动作包括转身的话，模型还需要「想象」出衣服的背面样子，以及衣...
-
从20亿数据中学习物理世界，基于Transformer的通用世界模型成功挑战视频生成
建立会做视频的世界模型，也能通过Transformer来实现了！ 来自清华和极佳科技的研究人员联手，推出了全新的视频生成通用世界模型——WorldDreamer。 它可以完成自然场景和自动驾驶场景多种视频生成任务，例如文生视频、图生视频、视频编辑、动作序...
-
【网安AIGC专题10.19】论文3代码生成：ChatGPT+自协作代码生成+角色扮演（分析员、程序员、测试员）+消融实验、用于MBPP+HumanEval数据集
Self-collaboration Code Generation via ChatGPT 写在最前面 朋友分享的收获与启发 课堂讨论 代码生成如何协作，是一种方法吗 思路相同 交互实用性 代码生成与自协作框架 摘要 相关工作 PP...
-
ChatGPT3.5、GPT4.0、DALL·E 3和Midjourney对话与绘画智能体验
MidTool（https://www.aimidtool.com/）是一个集成了多种先进人工智能技术的助手，它融合了ChatGPT3.5、GPT4.0、DALL·E 3和Midjourney等不同的智能服务，提供了一个多功能的体验。下面是这些技术的简要介...
-
18LLM4SE革命性技术揭秘：大型语言模型LLM在软件工程SE领域的全景解析与未来展望 - 探索LLM的多维应用、优化策略与软件管理新视角【网安AIGC专题11.15】作者汇报 综述
Large Language Models for Software Engineering: A Systematic Literature Review 写在最前面 论文名片 课堂讨论 RQ1部分：LLMs的选择和优化 RQ2部分：LLM...
-
百度“文心一言”大模型(ERNIE)发布了，对标ChatGPT
大家好，我是微学AI，今天给大家介绍一下基于大语言模型的背景下，国内外的发展现状，以及百度的“文心一言”大模型。 一、自然语言处理模型的发展 自然语言处理(NLP 大模型的发展可以追溯到早期的简单的规则模型，再到后的机器学习，近十年崛起的神经网络和深度...