-
每日AIGC最新进展(24)：用于图像质量和审美评估的统一视觉-语言预训练模型UniQA、可控生成图像压缩框架Control-GIC、3D感知扩散模型Ouroboros3D
Diffusion Models专栏文章汇总：入门与实战 UniQA: Unified Vision-Language Pre-training for Image Quality and Aesthetic Assessment 本文提出了一...
-
MIT最新！多模态LLM真的无所不能吗？大模型能解决一切难题吗？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文对自动驾驶领域内多模态大型语言模型（MLLMs）的应用进行了审慎的审视，并对一些常见的假设提出了质疑/验证，重点关注它们通过闭环控制环境中的图像/帧序列推理和解释...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架
本文经自动驾驶之心公众号授权转载，转载请联系出处。 从一个新颖的3D MLLM架构开始，该架构使用稀疏查询将视觉表示提升和压缩到3D，然后将其输入LLM。 题目：OmniDrive: A Holistic LLM-Agent Framework for...
-
颜水成挂帅，奠定「通用视觉多模态大模型」终极形态！一统理解/生成/分割/编辑
近日，颜水成教授团队联合发布并开源了Vitron通用像素级视觉多模态大语言模型。 项...
-
能力与可信度可以兼得？GPT-4、Gemini等多模态大模型评测报告来了
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemi...
-
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
涉及面广：多模态生成模型——MLLM （ 目前集中在视觉语言模型——VLM）、大语言模型——LLM、生成模型（SD系列）、对比学习的经典模型（CLIP系列）。 持续更新：对于已经完成解读的会附上链接（有的会在一些场景做尝试，也会附上链接供大家快速参考结果...
-
苹果展示 AI 新模型 MGIE，可一句话精修图片
2 月 8 日消息，相比较微软的风生水起，苹果公司在 AI 领域的布局显得低调很多，但这并不意味着苹果在该领域就没有丝毫建树。苹果公司近日发布了名为“MGIE”的新型开源人工智能模型，它可以根据自然语言指令编辑图像。 图源：VentureBeat 与...
-
iPhone AI图像编辑P图app工具免费在线使用地址 苹果MGIE开源模型官网体验入口
MGIE是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。 点击前往MGIE官网体验入口 MGIE旨在满足以下需求人群： "用户可以通过自然语言直观地...
-
MGIE官网体验入口 苹果多模态大语言模型AI图像编辑工具在线使用地址
MGIE是一项由苹果开源的技术，利用多模态大型语言模型（MLLMs）生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。 点击前往MGIE官网体验入口 需求人群： "用户可以通过自然语言直观地描述图像编辑需求，如...
-
准确率不足20%，GPT-4V/Gemini竟看不懂漫画！首个图像序列基准测试开源
OpenAI的GPT-4V和谷歌最新的Gemini多模态大语言模型一经推出就得到业界和学界的热切关注: 一系列工作都从多角度展示了这些多模态大语言模型对视频的理解能力。人们似乎相信我们离通用人工智能artificial general intellige...
-
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型（MLLMs）领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在明显的空白。为填补这一空白，腾讯人工智能实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型...
-
微软亚洲研究院韦福如：人工智能基础创新的第二增长曲线
从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。 然而，人工智能的科研...
-
多模态大模型幻觉降低30%！中科大等提出首个幻觉修正架构「Woodpecker」啄木鸟
视觉幻觉是常见于多模态大语言模型（Multimodal Large Language Models, MLLMs）的一个典型问题。 简单来说就是：模型输出的描述与图片内容不相符。 下图中体现了两种幻觉，红色部分错误地描述了狗的颜色（属性幻觉），蓝色部分描...
-
世界模型和DriveGPT这类大模型到底能给自动驾驶带来什么？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 大模型今年爆火，很多领域上的应用如雨后春笋般涌现，很多优秀的工作出现，主要集中在数据生成和场景分析表述两部分，重点解决自动驾驶的长尾分布问题和场景识别。今天自动驾驶之心带大家梳理下自动驾驶行业上的大模...
-
HiLM-D：自动驾驶多模态大语言模型玩出花了
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者个人的一些思考 不得不说，最近大模型在学术界火起来了，基于图文匹配的CLIP预训练模型成为近年来在多模态研究领域的经典之作。除此之外，大语言模型的蓬勃发展也进一步为多模态带来了性能提升。自动驾驶领...