-
Mistral 7B 比Llama 2更好的开源大模型 （三）
Mistral 7B 比Llama 2更好的开源大模型 Mistral 7B是一个70亿参数的语言模型，旨在获得卓越的性能和效率。Mistral 7B在所有评估的基准测试中都优于最好的开放13B模型（Llama 2），在推理、数学和代码生成方面也优于最好的...
-
爆肝整理全网最全最新AI生成算法【Stable Diffusion｜Diffusion Model｜DallE2｜CLIP｜VAE｜VQGAN】原理解析
1、生成模型 首先回顾一下生成模型要解决的问题： 如上图所示，给定两组数据z和x，其中z服从已知的简单先验分布π(z （通常是高斯分布），x服从复杂的分布p(x （即训练数据代表的分布），现在我们想要找到一个变换函数f，它能建立一种z到x的映射f:z...
-
视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。 上周四， Vision Mamb...
-
针对特定领域较小的语言模型是否与较大的模型同样有效?
经过2023年的发展，大语言模型展示出了非常大的潜力，训练越来越大的模型成为有效性评估的一个关键指标，论文《A Comparative Analysis of Fine-Tuned LLMs and Few-Shot Learning of LLMs f...
-
Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
具身智能，是大模型未来应用的一个重要方向。 现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。 卧室里有什么物体，一眼辨认。 听到门铃响了，LLM便会告诉你家里来客人了。 大模型加持的NPC，在触摸桌子的香蕉后，...
-
部署新思路 | Minuet：在 GPU 上加速 3D 稀疏卷积
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Minuet: Accelerating 3D Sparse Convolutions on GPUs 论文链接：https://arxiv.org/pdf/2401.06145.pdf 代码...
-
【他山之石】360 多兴趣召回 Mind 实战优化
一、业务背景 随着短视频和信息流等场景的兴起，用户在这些场景中产生了大量的行为序列，包括曝光、播放、点击、点赞和关注等。这些序列本身就具备很高的价值。因此涌现出了许多序列模型，如 YouTube DNN [1]、GRU4REC [2]、MIND [3]等...
-
Pika、Gen-2、ModelScope、SEINE……AI视频生成哪家强？这个框架一测便知
AI 视频生成，是最近最热门的领域之一。各个高校实验室、互联网巨头 AI Lab、创业公司纷纷加入了 AI 视频生成的赛道。Pika、Gen-2、Show-1、VideoCrafter、ModelScope、SEINE、LaVie、VideoLDM 等视...
-
Llama 2打败GPT-4！Meta让大模型自我奖励自迭代，再证合成数据是LLM终局
Llama 2-70B一夜之间打败GPT-4，让整个AI社区为之震惊！ 甚至，在AlpacaEval 2.0排行榜中，微调后的模型胜率完全碾压Claude 2、Gemini Pro等模型。 Meta和NYU研究团队究竟提出了什么秘制配方，才能让Llam...
-
4个令人惊艳的ChatGPT项目，开源了！AIGC也太猛了...
大家好啊～ 自从 ChatGPT、Stable Diffusion 发布以来，各种相关开源项目百花齐放，着实让人应接不暇。 今天，我将着重挑选几个优质的开源项目，对我们的日常工作、学习生活，都会有很大的帮助。 今天整理分享给大家，希望对你有所帮助。...
-
腾讯太极文生图大模型，带你一起感受祖国大好河山
一、背景 随着大规模预训练模型的蓬勃发展和算力的大规模提升，业界和学界在图片生成这个领域也取得了非常大的进展。在AIGC（AI Generated Content）这个领域，随着英文Stable Diffusion模型的开源，催生出了很多AI绘画相关的...
-
LCM-LoRA：通用stable diffusion 加速模块！2023.11.13顶会论文速递！
整理：AI算法与图像处理 欢迎关注公众号 AI算法与图像处理，获取更多干货： 推荐 微信交流群现已有2000+从业人员交流群，欢迎进群交流学习，微信：nvshenj125 B站最新成果demo分享地址：https://s...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
每日一看大模型新闻（2023.11.20）OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御；谷歌Bard「破防」，用自然语言破解，提示注入引起数据泄漏风险；真正实现一步文生图，谷歌UFO
1.产品发布 1.1长虹：首个基于大模型的智慧家电AI平台 发布日期：2023.11.20 全球首个基于大模型智慧家电AI平台长虹云帆震撼发布！ 主要内容：长虹智慧AI平台发布会上，发布了全球首个基于大模型的智慧家电AI平台——长虹云帆。据介绍...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
GPT-4V惨败！CV大神谢赛宁新作：V*重磅「视觉搜索」算法让LLM理解力逼近人类
Sam Altman最近在世界经济论坛上发言，称达到人类级别的AI很快就会降临。 但是，正如LeCun一直以来所言，如今的AI连猫狗都不如。现在看来的确如此。 GPT-4V、LLaVA等多模态模型图像理解力足以让人惊叹。但是，它们并非真的能够做的面面俱到。...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
AIGC周报｜30秒定制一个文生图模型；60美元让AI玩转《我的世界》；手机版“文生图”模型：2秒不到出一张图
AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 Dall·E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来...
-
新AI框架 AboutMe：用网页中自我描述来记录英语预训练数据过滤器的效果
随着自然语言处理和自然语言生成的进步，大型语言模型（LLMs）在实际应用中得到了广泛使用。由于它们能够模仿人类行为，并具有通用性，这些模型已经涉足各个领域。 虽然这些模型引起了相当大的关注，但它们代表了一组受限和偏向的人类观点和知识。预训练数据的组成是造成...
-
AI视野：百度推视频生成模型UniVG；下一代大模型Llama3正在训练；腾讯推视频模型VideoCrafter2；TikTok测试AI作曲功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 1、百度推出视频生...
-
一键实景转动画，清华系初创公司全球首发4D骨骼动画框架，还能生成个性化角色
前几日，苹果宣布首款虚拟头显设备 Vision Pro 将于 2 月 2 日正式发售，XR 设备作为下一代终端预计将迎来快速发展。未来随着虚拟显示设备的普及，数字交互将从平面走向立体，立体模型、立体动画将成为未来主流的内容形态，虚实融合下的多维沉浸式交互...
-
视觉Mamba来了：速度提升2.8倍，内存能省87%
号称「全面包围 Transformer」的 Mamba，推出不到两个月就有了高性能的视觉版。 本周四，来自华中科技大学、地平线、智源人工智能研究院等机构的研究者提出了 Vision Mamba（Vim）。 论文地址：https://arxiv.or...
-
最近读的AIGC相关论文思路解读
AIGC之SD可控生成论文阅读记录 提示：本博客是作者本人最近对AIGC领域相关论文调研后，临时记录所用，所有观点都是来自作者本人局限理解，以及个人思考，不代表对。如果你也正好看过相关文章，发现作者的想法和思路有问题，欢迎评论区留言指正！ 既然是论...
-
番外篇Diffusion&Stable Diffusion扩散模型与稳定扩散模型
文章目录 Diffusion&Stable Diffusion扩散模型与稳定扩散模型 摘要 Abstract Diffusion Model扩散模型 Forward Diffusion Process正向扩散过程 噪声图像的分布...
-
Data-Copilot: 大语言模型做你最贴心省事的数据助手
Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow 无需繁琐操作,只需要输入一句话, Data-Copilot自动帮你完成查数据,分析数据,管理数据,预测趋...
-
马毅LeCun谢赛宁曝出多模态LLM重大缺陷！开创性研究显著增强视觉理解能力
Sam Altman在各种场合都提到，大语言模型的多模态能力，是未来AI技术能够造福人类的最亟待突破的领域。 那么现在在多模态大模型的视觉功能能否达到与语言功能匹配的水平？ 当前多模态模型取得的进步很大程度上归功于大语言模型（LLM）的推理能力。但在视...
-
AIGC：使用生成对抗网络GAN实现MINST手写数字图像生成
1 生成对抗网络 生成对抗网络（Generative Adversarial Networks, GAN）是一种非常经典的生成式模型，它受到双人零和博弈的启发，让两个神经网络在相互博弈中进行学习，开创了生成式模型的新范式。从 2017 年以后，GAN相...
-
几何纹理重建新SOTA！浙大提出SIFU：单图即可重建高质量3D人体模型
在AR、VR、3D打印、场景搭建以及电影制作等多个领域中，高质量的穿着衣服的人体3D模型非常重要。 传统的方法创建这些模型不仅需要大量时间，还需要能够捕捉多视角照片的专业设备，此外还依赖于技术熟练的专业人员。 与此相反，在日常生活中，我们最常见...
-
ConvNet与Transformer谁更强？Meta评测4个领先视觉模型，LeCun转赞
如何根据特定需求选择视觉模型？ ConvNet/ViT、supervised/CLIP模型，在ImageNet之外的指标上如何相互比较？ 来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。 论文地址：ht...
-
新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度
大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与生成等。造成这一限制的根本原因在于当前大语言模型均采用的 Transformer 架构有着相对于序列长度的二次计算复杂度。这意味着随着序列长度的增加...
-
三个臭皮匠顶个诸葛亮？可能是真的，已证实混合多个小模型性能比肩GPT3.5
在对话型人工智能（AI）研究中，存在趋势即朝着开发参数更多的模型方向发展，如 ChatGPT 等为代表的模型。尽管这些庞大的模型能够生成越来越好的对话响应，但它们同时也需要大量的计算资源和内存。本文研究探讨的问题是：一组小模型是否能够协同达到与单一大模型...
-
大模型时代下AIGC新浪潮
大模型时代下AIGC新浪潮 文章目录 大模型时代下AIGC新浪潮 1. **相关概念** 2. **迎接大模型时代** 3. **ChatGPT引爆AIGC产业** 4. **从产业链宏观看AIGC** 1. **上游：基础层**...
-
能做鬼脸、摇滚、自拍，听懂你说的话！GPT-4驱动的实体机器人
东京大学的研究人员将GPT-4模型，集成在实体机器人Alter3中，可将文本、语言直接转化成机器人动作，例如，做一个自拍动作;装一个“鬼样”;做一个摇滚音乐动作等，就连微笑、眨眼这样的面部表情动作也没问题。 在GPT-4的帮助下，Alter3建立了语言反馈...
-
论文阅读_善用Midjourney
论文信息 name_en: Grimm in Wonderland: Prompt Engineering with Midjourney to Illustrate Fairytales name_ch: 用Midjourney生成格林童话插图 pa...
-
大模型“藏毒”：“后门”触发，猝不及防！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 跟大模型会产生幻觉相比，更可怕的事情来了，最新的一项研究证明：在用户不知情的情况下，最初觉得很得力的大模型助手，将化身“间谍”，产生破坏性代码。 具体来讲，一组研究人员对LL...
-
用大模型帮程序员找Bug，中科院剖析102篇论文总结出这些方案
中科院对“找Bug”下手了，一口气总结了N种方案！ 法宝就是大模型。 大模型由于其卓越的自然语言理解、推理等能力，已经被应用于各种场景，取得了前所未有的效果。 类似的，软件测试领域也受益于其强大的能力，能够帮助生成逼真且多样化测试输入，模拟各种异常，加...
-
【AIGC】Controlnet:基于扩散模型的文生图的可控性
前言 controlnet可以让stable diffusion的生图变得可控。 文章连接：https://arxiv.org/pdf/2302.05543.pdf 摘要 冻结了stable diffusion的预训练模型并重用它的预训练...
-
语音识别whisper的介绍、安装、错误记录
介绍 Whisper是OpenAI于2022年9月份开源的通用的语音识别模型。它是在各种音频的大型数据集上训练的模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 论文链接：https://arxiv.org/abs/2212.04...
-
终于，NLP顶会ACL投稿不用匿名了
对于自然语言处理领域的研究人员，最近有一条好消息。 近日，计算语言学协会年会（ACL）正式宣布，该系列会议论文投稿已取消匿名期，同时允许作者在投稿期间宣传自身工作。新规定直接适用于下一个审稿周期。 今年的 ACL 是第 62 届，将于 2024 年 8...
-
机器人领域首个开源视觉-语言操作大模型，RoboFlamingo框架激发开源VLMs更大潜能
近年来，大模型的研究正在加速推进，它逐渐在各类任务上展现出多模态的理解和时间空间上的推理能力。机器人的各类具身操作任务天然就对语言指令理解、场景感知和时空规划等能力有着很高的要求，这自然引申出一个问题：能不能充分利用大模型能力，将其迁移到机器人领域，直接...
-
ReSimAD：如何在没有真实数据的情况下，提升感知模型的泛化性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 自动驾驶车辆传感器层面的域变化是很普遍的现象，例如在不同场景和位置的自动驾驶车辆，处在不同光照、天气条件下的自动驾驶车辆，搭载了不同传感器设备的自动驾驶车辆，上述这些...
-
基于ChatGPT的代码解释神器：GPT Academic、GitHub Copilot
（个人推荐使用第二个GitHub Copilot） 1. GPT 学术优化 (GPT Academic 工具 简介 GPT Academic是什么 为ChatGPT/GLM提供实用化交互界面，特别优化论文阅读/润色/写作体验，模块化设计，支持自定...
-
腾讯最新AI工具PhotoMaker：上传图片即可生成多样化风格个人照片
腾讯最新推出的AI照片生成工具PhotoMaker引发了不少关注，该应用利用强化学习（RL）技术，只要上传照片就可以生成多种风格的个人照片，无需进行额外的LoRA训练，用户可以迅速进行定制。 PhotoMaker还具有多样的功能，包括混合不同人物特征生成全...
-
扩散模型图像理解力刷新SOTA！字节复旦团队提出全新「元提示」策略
Text-to-image（T2I）扩散模型在生成高清晰度图像方面显示出了卓越的能力，这一成就得益于其在大规模图像-文本对上的预训练。 这引发了一个自然的问题：扩散模型是否可以用于解决视觉感知任务？ 近期，来自字节跳动和复旦大学的技术团队提出了一种简单...
-
Yann LeCun发来肯定：腾讯人像照片生成可以随便玩了
这一次，Yann LeCun 首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你，一身古装在故宫门前打卡留念…… 就连本人也出来转发并喊话，「左下角这幅文艺复兴时期的画，是我的最爱。」 性感女神寡姐身穿紫色巫师服注视着远方，还可...
-
「文生图」再升级！学习个性化参照，无限生成多样图片，轻松设计玩具建筑
最近，来自南加州大学、哈佛大学等机构的研究团队提出了一种全新的基于提示学习的方法——DreamDistribution。 这种方法可以让任何基于文字提示的生成模型（比如文生图、文生3D等），通过一组参照图片来学习对应的视觉属性共性和变化的文本提示分布。...
-
OpenAI开源全新解码器和语音识别模型Whisper-v3
在11月7日OpenAI的首届开发者大会上，除了推出一系列重磅产品之外，还开源了两款产品，全新解码器Consistency Decoder（一致性解码器）和最新语音识别模型Whisper v3。 据悉，Consistency Decoder可以替代Sta...
-
鹅厂最新AI工具刷屏！杨幂寡姐多风格写真秒秒钟生成，LeCun点赞
大厂们在整活方面开始卷起来了！ 前脚字节阿里的工具火了，现在腾讯这个新照片生成应用PhotoMaker直接刷屏，瞧这阵仗…… 只需上传一张或以上照片，无需额外LoRA训练，就能快速可定制。任何人、任何风格，高保真那种。 于是秒秒钟，LeCun化身钢铁侠...
-
微软TaskWeaver开源框架：携手数据分析与行业定制，打造顶级Agent解决方案
数据分析一直是现代社会中的重要工具，它帮助我们洞察本质、发现规律并指导决策。然而，数据分析过程往往复杂且费时，因此我们期望存在一个智能助手助力用户直接 “与数据对话 “。得益于大语言模型（LLM）的发展，虚拟助手和 Copilot 等智能 Agent 纷...
-
碎片笔记｜AIGC核心技术综述
前言：AIGC全称为AI-Generated Content，直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发，主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的...