-
RAG 修炼手册｜一文讲透 RAG 背后的技术
在之前的文章中《RAG 修炼手册｜RAG敲响丧钟？大模型长上下文是否意味着向量检索不再重要》，我们已经介绍过 RAG 对于解决大模型幻觉问题的不可或缺性，也回顾了如何借助向量数据库提升 RAG 实战效果。 今天我们继续剖析 RAG，将为大家大家详细介绍...
-
刚刚，Mistral AI最新磁力链放出！8x22B MoE模型，281GB解禁
【新智元导读】初创团队Mistral AI再次放出一条磁力链，281GB文件解禁了最新的8x22B MoE模型。 一条磁力链，Mistral AI又来闷声不响搞事情。 281.24GB文件中，竟是全新8x22B MOE模型! 全新MoE模型共有56层，...
-
AIGC-Stable Diffusion发展及原理总结
目录 一. AIGC介绍 1. 介绍 2. AIGC商业化方向 3. AIGC是技术集合 4. AIGC发展三要素 4.1 数据 4.2 算力 4.3 算法 4.3.1 多模态模型CLIP 4.3.2 图像生成模型 二. Stable...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种：MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM（大语言模型）。 一丝曙光：tinyLlama-1.1b（10.1亿参数，需要至少2.98GB的RAM） Llam...
-
三小时内用ChatGPT写完一篇论文的终极指南
在这篇指南中，我将深入探讨如何利用ChatGPT 4.0的强大能力来指导整个学术研究和写作过程。从初步探索研究主题，到撰写出一篇内容充实、结构严谨的学术论文，我会一步步展示如何在各个环节中有效运用ChatGPT。 初步探索与主题的确定 一开始，我置身于...
-
1000行C语言搓出GPT-2！AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。 断更近一个月，Karpathy终于上线了。 这次不是AI大课，而是带来一个新项目...
-
大模型技术实践（二）｜关于Llama 2你需要知道的那些事儿
在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。 01-Llama 2的性能有多好？ 作为Meta新发布的SOTA开源大型语言模型，Llama 2是Llama模型的延续和升级。Lla...
-
GPT-4推理能力为0？开发者悬赏1万美金被打脸，神秘提示正确率直冲100%
【新智元导读】小孩子都会的脑筋急转弯推理题，GPT-4和Claude3做不出?国外一位开发者小哥坚称这一观点，认为GPT模型在训练集外毫无推理能力，无法实现AGI，甚至悬赏1万美元，发起比赛。然而，他当天就被光速打脸了!网友用高能的prompt，让GPT-...
-
无需训练，这个新方法实现了生成图像尺寸、分辨率自由
近期，扩散模型凭借其出色的性能已超越 GAN 和自回归模型，成为生成式模型的主流选择。基于扩散模型的文本到图像生成模型（如 SD、SDXL、Midjourney 和 Imagen）展现了生成高质量图像的惊人能力。通常，这些模型在特定分辨率下进行训练，以确...
-
北航联合港大发布全新文本引导矢量图形合成方法SVGDreamer
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 可缩放矢量图形（Scalable Vector Graphics，SVG）是用于描述二维图型和图型应用程序的基本元素；与传统的像素图形...
-
阿里刚开源32B大模型，我们立马测试了“弱智吧”
阿里的通义千问（Qwen），终于拼齐了1.5系列的最后一块拼图—— 正式开源Qwen 1.5-32B。 话不多说，直接来看“成绩单”。 这次官方pick同台竞技的“选手”是Mixtral 8x7B模型和同为Qwen 1.5系列的72B模型。 从结果上...
-
10万美元训出Llama-2级大模型！全华人打造新型MoE，贾扬清SD前CEO围观
想了解更多AIGC的内容： https://www.51cto.com/aigc/ “只需”10万美元，训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了： 它叫JetMoE，来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Ll...
-
ICCV 2023 | 最全AIGC梳理，5w字30个diffusion扩散模型方向，近百篇论文！
30个方向130篇！CVPR 2023最全AIGC论文 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2...
-
IT领导者可以从谷歌的GenAI起步不稳中学到什么
谷歌推出 Bard 时，试图对抗 OpenAI 的 ChatGPT，但在首次演示中不幸出现了事实错误。尽管谷歌随后将 Bard 扩展到 Gmail 到 YouTube 等所有平台，但公众最初的焦点仍然是该工具未能达到 OpenAI 响应的质量。 谷歌...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...
-
谷歌更新Transformer架构，更节省计算资源！50%性能提升
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌终于更新了Transformer架构。 最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计...
-
【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例
【Python】科研代码学习：十五 tokenizer的代码细节：Llama_Tokenization 为例 前言 `LlamaConfig`：网络参数配置 `LlamaTokenizer`：分词工具 前言 对于 HF 的 Tr...
-
AIGC学习笔记——DALL-E2详解+测试
它主要包括三个部分：CLIP，先验模块prior和img decoder。其中CLIP又包含text encoder和img encoder。（在看DALL·E2之前强烈建议先搞懂CLIP模型的训练和运作机制,之前发过CLIP博客） 论文地址：https...
-
Transformer引领AI百花齐放：从算法创新到产业应用，一文读懂人工智能的未来
一、引言 近年来，人工智能技术取得了举世瞩目的成果，其中，自然语言处理（NLP）和计算机视觉等领域的研究尤为突出。在这些领域，一种名为Transformer的模型逐渐成为研究热点，以其为核心的创新成果层出不穷。本文将从Transformer的原理、应用和...
-
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力 (Grouped Query Attention 是一种在大型语言模型中的多查询注意力 (MQA 和多头注意力 (MHA 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。 这篇文章中，我们将解释GQA的...
-
华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复...
-
RV融合性能拉爆！RCBEVDet：Radar也有春天，最新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文关注的主要问题是3D目标检测技术在自动驾驶进程中的应用。尽管环视相机技术的发展为3D目标检测提供了高分辨率的语义信息，这种方法因无法精确捕获深度信息和在恶劣天...
-
LLaMA 模型中的Transformer架构变化
目录 1. 前置层归一化（Pre-normalization） 2. RMSNorm 归一化函数 3. SwiGLU 激活函数 4. 旋转位置嵌入（RoPE） 5. 注意力机制优化 6. Group Query Attention 7. 模型...
-
【没有哪个港口是永远的停留~论文解读】stable diffusion 总结 代码&推导&网络结构
了解整个流程： 【第一部分】输入图像 x （W*H*3的RGB图像） 【第一部分】x 经过编码器 生成 (latent 空间的表示 h*w*c (具体设置多少有实验 【第二部分】 逐步加噪得到 ，和噪声标签 【第二部分】由 Unet（ ）...
-
全网最全Stable Diffusion原理说明！！简单明了 容易理解！！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。下面是Stable Diffusion注册和使用的方法。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取...
-
让视频姿态Transformer变得飞速，北大提出高效三维人体姿态估计框架HoT
目前，Video Pose Transformer（VPT）在基于视频的三维人体姿态估计领域取得了最领先的性能。近年来，这些 VPT 的计算量变得越来越大，这些巨大的计算量同时也限制了这个领域的进一步发展，对那些计算资源不足的研究者十分不友好。例如，训练...
-
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE 的引入，2022年标志着该领域的...
-
探索LLaMA模型：架构创新与Transformer模型的进化之路
引言 在人工智能和自然语言处理领域，预训练语言模型的发展一直在引领着前沿科技的进步。Meta AI（前身为Facebook）在2023年2月推出的LLaMA（Large Language Model Meta AI）模型引起了广泛关注。LLaMA模型以...
-
Mistral 7B 比Llama 2更好的开源大模型 （一）
Mistral 7B 简介 Mistral 7B Mistral 7B 是一个 7.3B 参数模型： 在所有基准测试中优于 Llama 2 13B 在许多基准测试中优于 Llama 1 34B 接近 CodeLlama 7B 的代码性能，同时...
-
【AIGC】Animate Anyone阿里全民舞王背后的科技，基于图片高可控动画生成
在11月底，阿里巴巴集团智能计算研究院发布了一款AI动画项目：Animate Anyone。只需要一张人物静态图片，结合人物的骨骼动画（姿势控制），就能生成一段人物动画视频。 我们先通过官网放出的动画效果直观感受一下。 一. Anima...
-
AI绘画Imagen大力出奇迹生成图像
AI绘画Imagen大力出奇迹生成图像 介绍 Imagen是一个文本到图像的扩散模型，由Google大脑团队研究所开发。 Imagen通过创新的设计，摈弃了需要预训练视觉-语言模型的繁琐步骤，直接采用了T5等大规模语言模型作为文...
-
Champ首发开源：人体视频生成新SOTA，5天斩获1k星，demo可玩
近日，由阿里、复旦大学、南京大学联合发布的可控人体视频生成工作 Champ 火爆全网。该模型仅开源 5 天 GitHub 即收获 1k 星，在 Twitter 更是「火出圈」，吸引了大量博主二创，浏览量总量达到 300K。 目前 Champ 已经开源...
-
Mamba超强进化体一举颠覆Transformer！单张A100跑140K上下文
之前引爆了AI圈的Mamba架构，今天又推出了一版超强变体！ 人工智能独角兽AI21 Labs刚刚开源了Jamba，世界上第一个生产级的Mamba大模型！ Jamba在多项基准测试中表现亮眼，与目前最强的几个开源Transformer平起平坐。 特别是...
-
首个基于SSM-Transformer混合架构，开源商业大模型Jamba
3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。 目前，ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长...
-
今日Arxiv最热NLP大模型论文：Llama-2上下文扩大48倍的方法来了，港大发布，无需训练
引言：大语言模型的长上下文理解能力 在当今的人工智能领域，大语言模型（Large Language Models，简称LLMs）的长上下文理解能力成为了一个重要的研究方向。这种能力对于模型来说至关重要，因为它使得LLMs能够有效地应对各种应用场景，例如在...
-
DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5
最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型，还在效率上有所突破。DBRX的基础和微调版本均已发布，为研究和商业应用提供了丰富的资源。 GitHub 链接：https:/...
-
Stable Diffusion~自注意力替换技术
在这篇文章中，作者展示了一个较为复杂的基于 Diffusers 开发的自注意力替换示例项目，用于提升 SD 视频生成的一致性。在这个过程中，作者讲述了 AttentionProcessor 相关接口函数的使用，并了解了如何基于全局管理类实现一个代码可维护性...
-
46秒AI生成真人视频爆火，遭在线打假「换口型、声音」
AI 生成视频已经发展到这个程度了吗？ 前段时间，英国王室凯特王妃的 P 图事件，再次将人们的注意力吸引到了图像或视频造假上来。随着 AI 伪造工具的「进化」，以假乱真、无中生有的内容也随之不断出现。 今天，一段宣称完全由 AI 生成的不到 50 秒的视...
-
两分钟1200帧的长视频生成器StreamingT2V来了，代码将开源
广阔的战场，风暴兵在奔跑…… prompt：Wide shot of battlefield, stormtroopers running... 这段长达 1200 帧的 2 分钟视频来自一个文生视频（text-to-video）模型，尽管 AI 生成...
-
详解Latte：去年底上线的全球首个开源文生视频DiT
随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。 然而，由于视频数据的高度结构化与复杂性，如何将 DiT 扩展到视频生成领...
-
Transformer技术的过去、现在与未来
2017年春季，八位谷歌研究人员发表了里程碑式论文《Attention is All You Need》，临近论文发表七周年，这篇论文及其介绍的Transformers架构已经成为AI领域的传奇。Transformers改变了从神经网络技术到生成类似外星...
-
文心一言与ChatGPT对比：谁更胜一筹？
大家好，小发猫降ai今天来聊聊文心一言与ChatGPT对比：谁更胜一筹？，希望能给大家提供一点参考。降ai辅写 以下是针对论文AI辅写率高的情况，提供一些修改建议和技巧，可以借助此类工具： 还有： 文心一言与ChatGPT对比：谁更胜一筹？...
-
CLIP-BEVFormer：显式监督BEVFormer结构，提升长尾检测性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 目前，在整个自动驾驶系统当中，感知模块扮演了其中至关重要的角色，行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后，才能让自动驾驶系统中的下游规控模块做...
-
继电动汽车之后，下一次汽车转型是否已经发生？
随着从内燃机汽车向电动汽车的转变从未消失，停在街边的汽车连接充电线如何迅速成为一种常见景象。而且似乎一些汽车制造商已经度过了过渡阶段。汽车数字化和计算机化是另一个重大转变，它拥有约1亿行代码和1,000多个半导体芯片，而且这一趋势还在持续增长。据估计，...
-
超越Sora！AI视频模型StreamingT2V可生成120秒超长视频
近日，UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注，将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制，实现了生成高度一致且长度可扩展的视频。 StreamingT2V技术的核心构架包括条件注意力模块（CAM）和外观保持模...
-
AIGC实战——Transformer模型
AIGC实战——Transformer模型 0. 前言 1. T5 2. GPT-3 和 GPT-4 3. ChatGPT 小结 系列链接 0. 前言 我们在 GPT (Generative Pre-trained Transfo...
-
CNN、Transformer、Uniformer之外，我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握，这存在两个巨大挑战：短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战，但它们在...
-
OpenAI公关跳起来捂他嘴：Transformer作者公开承认参与Q*！｜八位作者最新专访
Q* Transformer作者中唯一去了OpenAI的那位，公开承认了: 他参与了Q*项目，是这项新技术的发明者之一。 这几天除了英伟达老黄组局把Transformer作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。 当记者试图询问...
-
通用文档理解新SOTA，多模态大模型TextMonkey来了
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教...
-
OpenAI公关跳起来捂他嘴：Transformer作者公开承认参与Q*！
Transformer作者中唯一去了OpenAI的那位，公开承认了： 他参与了Q*项目，是这项新技术的发明者之一。 这几天除了英伟达老黄组局把Transformer作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。 当记者试图询问Lu...