-
GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案
AI玩黑神话，第一个精英怪牯护院轻松拿捏啊。 有方向感，视角也没有问题。 躲闪劈棍很丝滑。 甚至在打鸦香客和牯护院时，AI的胜率已经超过人类。 而且是完全使用大模型玩，没有使用强化学习。 阿里巴巴的研究人员们提出了一个新型VARP（视觉动作角色扮演...
-
AIGC实战——多模态模型Flamingo
AIGC实战——多模态模型Flamingo 0. 前言 1. Flamingo 架构 2. 视觉编码器 3. Perceiver 重采样器 4. 语言模型 5. FIamingo 应用 小结 系列链接 0. 前言 我们已经学习了文...
-
每日AIGC最新进展(57)：小红书提出视频理解模型VideoLLM-MoD、香港大学提出脉冲神经扩散模型、香港大学提出使用反球面插值改进基于扩散模型的数据增强方法
Diffusion Models专栏文章汇总：入门与实战 VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation 随着...
-
在 iPhone 15 Pro 上运行 Llama-3.1 8B；使用扩散模型生成类人绘画过程的工具；使用ChatGPT自动生成思维导图
✨ 1: MLX Examples 在 iPhone 15 Pro 上运行 Llama-3.1 8B 基于 MLX 机器学习推理框架轻松将 「Llama-3.1 8B」在 iPhone 15 Pro 上运行? 代码已开源！ 地址：http...
-
本地部署 Llama-3-EvoVLM-JP-v2
本地部署 Llama-3-EvoVLM-JP-v2 0. 引言 1. 关于 Llama-3-EvoVLM-JP-v2 2. 本地部署 2-0. 克隆代码 2-1. 安装依赖模块 2-2. 创建 Web UI 2-3.启动 Web UI 2-4...
-
【AIGC调研系列】VILA-1.5版本的视频理解功能如何
VILA-1.5版本的视频理解功能表现出色，具有显著的突破。这一版本不仅增强了视频理解能力，还提供了四种不同规模的模型供用户选择，以适应不同的应用需求和计算资源限制[1][2][3]。此外，VILA-1.5支持在笔记本等边缘设备上部署，这得益于其高效的模型...
-
每日AIGC最新进展(46)：上海AI Lab发布多模态大模型InternLM-XComposer-2.5、阿里发布视频生成大模型EasyAnimate-V3、快手发布人像模型LivePortrait
Diffusion Models专栏文章汇总：入门与实战 InternLM-XComposer-2.5: A Versatile Large Vision Language Model Supporting Long-Contextual Input...
-
【AIGC调研系列】InternVL开源多模态模型与GPT-4V的性能对比
InternVL和GPT-4V都是多模态模型，但它们在性能、参数量以及应用领域上有所不同。 InternVL是一个开源的多模态模型，其参数量为60亿，覆盖了图像/视频分类、检索等关键任务，并在32个视觉-语言基准测试中展现了卓越性能[2]。InternV...
-
AIGC |「多模态模型」系列之OneChart：端到端图表理解信息提取模型
论文标题: OneChart: Purify the Chart Structural Extraction via One Auxiliary Token 论文作者: Jinyue Chen, Lingyu Kong, Haoran Wei, Chen...
-
【AIGC调研系列】CogVLM2:第二代视觉大模型
CogVLM2是智谱AI推出的新一代多模态大模型，继承并优化了上一代模型的经典架构。CogVLM2采用了一个拥有50亿参数的强大视觉编码器，并创新性地在大语言模型中整合了一个70亿参数的视觉专家模块[1]。这一设计使得CogVLM2在视觉和语言理解方面实现...
-
又被 OpenAI 截胡，Google推出开源视觉语言模型：PaliGemma
前言 该模型结合了 SigLIP 视觉模型和 Gemma 语言模型，这两种模型都是开放组件，使得PaliGemma在处理视觉与语言结合的任务上表现出色。 PaliGemma的使用场景包括图像字幕、图像标签和视觉问答等。这些应用场景利用了PaliGemm...
-
图灵巨头现身ICLR，顶会现场疯狂追星LeCun、Bengio！中国团队三大技术趋势引爆AGI新想象
这几天，AI届的盛会——ICLR在维也纳举办。 OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。 现场名流云集，星光耀眼，走几步就能偶遇一位发过颠覆性paper的大咖。 毫无意外地，ICLR 2024展厅也变成了追星现场。热闹的气氛...
-
等等我还没上车！LLM赋能端到端全新范式LeGo-Drive，车速拉满
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者个人理解 这篇论文介绍了一种名为LeGo-Drive的基于视觉语言模型的闭环端到端自动驾驶方法。该方法通过预测目标位置和可微分优化器规划轨迹，实现了从导航指令到目标位置的端到端闭...
-
今日AI：AI视频神器PixVerse被玩出花；抖音封杀李一舟等“割韭菜”内容；最神秘国产大模型团队冒泡；剪映Dreamina一键整合mj+sd+PS工作流
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 AI视频生成神器...
-
离职谷歌的Transformer作者创业，连发3个模型（附技术报告）
去年 8 月，两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI，总部位于日本东京。其中，Llion Jones 是谷歌 2017 年经典研究论文《Attention is all you n...
-
能说会看会行动，OpenAI机器人，一出手就是王炸
「借助 OpenAI 的能力，Figure 01 现在可以与人全面对话了！」 本周三，半个硅谷都在投的明星机器人创业公司 Figure，发布了全新 OpenAI 大模型加持的机器人 demo。 这家公司在 3 月 1 日刚刚宣布获得 OpenAI 等公...
-
科幻片成真！Figure与OpenAI合作新进展 Figure 01接入ChatGPT后成“精”了！
Figure最新展示了他们与OpenAI合作的成果，这一合作让他们的机器人获得了惊人的能力。机器人可以进行语音对话、描述周围环境、做出决策推理、执行高层次请求，并口头解释推理过程。这些功能使得机器人能够执行类似人类的快速、灵巧动作，表明这一合作取得了显著进...
-
谷歌具身智能新研究：比RT-2优秀的RT-H来了
随着 GPT-4 等大型语言模型与机器人研究的结合愈发紧密，人工智能正在越来越多地走向现实世界，因此具身智能相关的研究也正受到越来越多的关注。在众多研究项目中，谷歌的「RT」系列机器人始终走在前沿（参见《大模型正在重构机器人，谷歌 Deepmind 这样...
-
直接干上车！DriveVLM：首个Orin部署的快慢双系统智驾大模型
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在目前自动驾驶领域，传统的感知（perception）-预测（prediction）-规划（planning）的常规端到端自动驾驶在处理常规场景时表现尚可，但在面对复...
-
清华叉院、理想提出DriveVLM，视觉大语言模型提升自动驾驶能力
与生成式 AI 相比，自动驾驶也是近期 AI 最活跃的研究和开发领域之一。要想构建完全的自动驾驶系统，人们面临的主要挑战是 AI 的场景理解，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。 现有的自动驾驶系统通常包括...
-
超越AF2？Iambic、英伟达、加州理工学院开发多尺度深度生成模型，进行状态特异性蛋白质-配体复合物结构预测
由蛋白质和小分子配体形成的结合复合物无处不在，对生命至关重要。虽然最近科学家在蛋白质结构预测方面取得了进展，但现有算法无法系统地预测结合配体结构及其对蛋白质折叠的调节作用。 为了解决这种差异，AI 制药公司 Iambic Therapeutics、英伟达...
-
AI视野：英伟达推文生图模型ConsiStory；高度可控AI试衣OOTDiffusion；开发者推SoraWebui开源项目；Groq最快AI推理芯片成本推算高得离谱
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 英伟达推出免训练，...
-
谷歌AI推出ScreenAI：用于UI和信息图解读的视觉语言模型
划重点: ⭐️ Google AI 团队提出了 ScreenAI，这是一个视觉语言模型，可以全面理解 UI 和信息图。 ⭐️ ScreenAI 在多个任务上表现出色，包括图形问答（QA），元素注释，摘要生成等。 ⭐️ 该团队发布了三个新数据集，为未来研究提...
-
基于LLaVA开源模型打造视频聊天助手
简介 大型语言模型已经证明自己是一项革命性的技术。目前，人们已经开发出了许多基于大型语言模型功能的应用程序，而且预计很快还会有更多的应用程序问世。大型语言模型最有趣的应用之一是将其部署为智能助手，它们能够帮助人类用户完成各种任务。 人们已经能够通过指令微...
-
LLM是世界模型的新证据？ChatGPT能理解WiFi等物理信号，并猜出你的位置
大语言模型是否是世界模型? 大语言模型除了在数字世界完成如写作或翻译等任务，它们能否理解并处理物理世界中的信息并进而完成更广泛的任务呢? 最近来自香港科技大学（HKUST）、南洋理工大学(NTU 与加利福尼亚大学洛杉矶分校(UCLA 的研究者们提供了新的思...
-
AIGC（MLLM、VLM、LLM、SD）系列——论文解读目录
涉及面广：多模态生成模型——MLLM （ 目前集中在视觉语言模型——VLM）、大语言模型——LLM、生成模型（SD系列）、对比学习的经典模型（CLIP系列）。 持续更新：对于已经完成解读的会附上链接（有的会在一些场景做尝试，也会附上链接供大家快速参考结果...
-
InternLM-XComposer2官网体验入口 视觉语言AI模型文本图像合成在线使用地址
InternLM-XComposer2是一款领先的视觉语言模型，专注于自由形式文本图像合成与理解。该模型不仅能理解传统的视觉语言，还能从各种输入构建交织的文本图像内容，实现高度可定制的内容创作。InternLM-XComposer2 采用部分LoRA（PL...
-
近200+自动驾驶数据集全面调研！一览如何数据闭环全流程
写在前面&个人理解 自动驾驶技术在硬件和深度学习方法的最新进展中迅速发展，并展现出令人期待的性能。高质量的数据集对于开发可靠的自动驾驶算法至关重要。先前的数据集调研试图回顾这些数据集，但要么集中在有限数量的数据集上，要么缺乏对数据集特征的详细调查...
-
年轻人的第一个多模态大模型：1080Ti轻松运行，已开源在线可玩
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！ 模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。 想将一份文档图片转换成Markdown格式？以往需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤...
-
CMU华人18万打造高能机器人，完爆斯坦福炒虾机器人！全自主操作，1小时学会开12种门
比斯坦福炒虾机器人还厉害的机器人来了！ 最近，CMU的研究者只花费2.5万美元，就打造出一个在开放世界中可以自适应移动操作铰接对象的机器人。 论文地址：https://arxiv.org/abs/2401.14403 厉害之处就在于，它是完全自主完成操作...
-
谷歌AI研究提出 SpatialVLM：一种数据合成和预训练机制，以增强视觉语言模型 VLM 空间推理能力
谷歌AI研究团队最近提出了SpatialVLM，这是一种旨在增强视觉语言模型（VLMs）空间推理能力的创新系统。 尽管先进的模型如GPT-4V在人工智能驱动任务中取得了显著进展，但它们在空间推理方面仍存在显著局限。空间推理涉及理解物体在三维空间中的位置以及...
-
通义千问视觉语言模型Qwen-VL在线体验入口 阿里云AI在线使用入口
Qwen-VL是阿里云推出的通用型视觉语言模型，具备强大的视觉理解和多模态推理能力。采用 Transformer 结构，以 7B 参数规模进行预训练，支持 448x448 分辨率，能够端到端处理图像与文本的多模态输入与输出。Qwen-VL在多个视觉基准测试...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
中文性能反超VLM顶流GPT-4V，阿里Qwen-VL超大杯限免！看图秒写编程视觉难题一眼辨出
【新智元导读】多模态大模型将是AI下一个爆点。最近，通义千问VLM模型换新升级，超大杯性能堪比GPT-4V。最最重要的是，还能限时免费用。 最近，通义千问实火。 前段时间被网友玩疯的全民舞王，让「AI科目三」频频登上热搜。 让甄嬛、慈禧、马斯克、猫主子和兵...
-
全世界机器人共用一个大脑，谷歌DeepMind已经完成了第一步
过去一年，生成式人工智能发展的核心关键词，就是「大」。 人们逐渐接受了强化学习先驱 Rich Sutton 充分利用算力「大力出奇迹」的思潮，庞大的数据量是 AI 模型展现出惊人智慧的核心原因。数据规模越大、质量越高、标注越细，模型就能了解到更全面的世界...
-
买个机器人端茶倒水有希望了？Meta、纽约大学造了一个OK-Robot
「xx，去把电视柜上的遥控器帮我拿过来。」在一个家庭环境中，很多家庭成员都不免被支使干这种活儿。甚至有时候，宠物狗也难以幸免。但人总有支使不动的时候，宠物狗也并不一定都能听懂。帮人类干活儿的终极梦想还是寄托在机器人身上。 最近，纽约大学、Meta 研发出...
-
世界顶尖多模态大模型开源！又是零一万物，又是李开复
领跑中英文两大权威榜单，李开复零一万物交出多模态大模型答卷! 距离其首款开源大模型Yi-34B和Yi-6B的发布，仅间隔不到三个月的时间。 模型名为Yi Vision Language（Yi-VL），现已正式面向全球开源。 同属Yi系列，同样具有两个版本...
-
最佳开源模型刷新多项SOTA，首次超越Mixtral Instruct！「开源版GPT-4」家族迎来大爆发
Mixtral 8x7B开源模型的诞生，正如Llama一样，为开源社区了带来曙光。 前段时间，Mixtral刚刚发布了8x7B模型的论文。在基准测试结果中，其性能达到或超过 Llama 2-70B和GPT-3.5。 甚至，Mixtral在数学、代码生成和...
-
谷歌起草“机器人宪法”，以确保 AI 机器人不会伤害人类
1 月 5 日消息，谷歌旗下 DeepMind 公司近日公布了三项新进展，其中之一针对收集训练数据的系统，起草了“机器人宪法”，确保 AI 机器人不会伤害人类。 谷歌的数据收集系统 AutoRT 可以同时利用视觉语言模型（VLM）和大型语言模型（LLM...
-
谷歌DeepMind机器人成果三连发！两大能力全提升，数据收集系统可同时管理20个机器人
几乎是和斯坦福“炒虾洗碗”机器人同一时间，谷歌DeepMind也发布了最新具身智能成果。 并且是三连发： 先是一个主打提高决策速度的新模型，让机器人的操作速度（相比原来的Robotics Transformer）提高了14%——快的同时，质量也没有下滑...
-
GPT-4V开源平替！清华浙大领衔，LLaVA、CogAgent等开源视觉模型大爆发
如今，GPT-4 Vision在语言理解和视觉处理方面展现出了非凡的能力。 然而，如果想在不影响性能的前提下，寻求具有成本效益的替代方案，开源方案就蕴藏着无限可能。 国外的一位开发者Youssef Hosni为大家奉上了三种GPT-4V的开源替代方案，可...
-
AI视野：Midjourney V6史诗级升级;ChatGPT新增存档聊天记录功能;阿里DreaMoving开源；百度千帆AppBuilder开放
???AI新鲜事 Midjourney V6史诗级升级，网友惊呼太逼真! 网友在Midjourney V6第二次社区评价中惊叹其逼真神图，光影效果出众，上线倒计时，可能在今明两天内发布。 ChatGPT新增存档聊天记录功能 12月21日，OpenAI在...
-
UC伯克利DeepMind等联合发布真实世界模拟器，打破虚实边界
真实世界模拟器来啦！ 还在发愁训练出的大模型无法适应真实的物理世界吗？ AI Agent想要进入我们的生活还有多远的距离？ ——UC伯克利、谷歌DeepMind、MIT和阿尔伯塔大学的研究人员告诉你答案。 在NeurlPS 2023上，研究人员将展示他们...
-
LLM生成3D场景，无限延伸！斯坦福华人提出3D动画生成框架，一句话一幅图创造无限3D世界
斯坦福华人退学博士开发的Pika，让AI技术和艺术迸发出了绚丽的火花。 最近，又有斯坦福的华人研究人员提出的新的框架——WonderJourney， 可以用一句话或者一张图，自动生成一系列3D场景的连续画面，效果炫酷！ 图片 用一张爱丽丝奇境漫游的图片，...
-
首个GPT-4驱动的人形机器人！无需编程+零样本学习，还可根据口头反馈调整行为
让GPT-4操纵人形机器人，事先不做任何编程or训练，能搞成啥样儿？ 答案是：太 猎 奇 了！ 这不，要求机器人表演“在昏暗电影院里狂炫爆米花，却突然发现吃的是隔壁陌生人的?”。 在GPT-4的操纵下，机器人笑容凝固，“尴尬”得摇头扶额后仰： 但在尴尬...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
独立开发者案例：每周4h月入数万刀；国家数据局与时代红利；创业前先买个域名；工程师成长最重要的是什么 | ShowMeAI周刊
这是ShowMeAI周刊的第6期。聚焦AI领域本周热点，及其在各圈层泛起的涟漪；关注AI技术进步，并提供我们的商业洞察。欢迎关注与订阅！?日报合辑 ⌛ 独立开发者案例：每周只工作4小时，独立开发者打造月入数万美金的歌词网站 创业一定需要...
-
北大提出统一的视觉语言大模型Chat-UniVi 3天训练成果惊艳众人
近日，北京大学和中山大学等机构的研究者提出了一种名为Chat-UniVi的视觉语言大模型，实现了统一的视觉表征，使其能够同时处理图片和视频任务。这一框架的独特之处在于，它不仅在深度学习任务中表现卓越，而且仅需短短三天的训练时间，就能够训练出具有130亿参数...
-
训练130亿大模型仅3天，北大提出Chat-UniVi统一图片和视频理解
论文地址：https://arxiv.org/pdf/2311.08046.pdf GitHub 地址：https://github.com/PKU-YuanGroup/Chat-UniVi Huggingface 地址：https://huggi...