-
简单尝试：ChatGLM-6B + Stable diffusion管道连接
核心思想是： 1. 抛去算法设计方面，仅从工程角度考虑的话，Stable diffusion的潜力挖掘几乎完全受输入文字影响。 2. BLIP2所代表的一类多模态模型走的路线是"扩展赋能LLM模型"，思路简单清晰，收益明显。LLM + Stable d...
-
最强的GPT-4V都考不过？基于大学考试的测试基准MMMU诞生了
目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，如下排行榜所示。 看起来，GPT-4V 在一些科目上已经强过挂科的大学生了。当然这个数据集的创造目的...
-
中国团队开源大规模高质量图文数据集ShareGPT4V
中国团队最近开源了一个引人瞩目的图文数据集，命名为ShareGPT4V，它基于GPT4-Vision构建，训练了一个7B模型。这一举措在多模态领域取得了显著的进展，超越了同级别的模型。 该数据集包含了120万条图像-文本描述数据，涵盖了世界知识、对象属性、...
-
自主操作计算机框架Self-Operating Computer：用GPT-4V来模拟人类的鼠标点击和键盘输入
自动化技术的最新进展引人瞩目，其中一项引人注目的技术是Self-Operating Computer框架。这一框架采用了先进的GPT-4V模型，通过模拟人类的鼠标点击和键盘输入，实现了令人惊叹的自主操作。在演示中，我们看到了框架自动打开浏览器并访问Goog...
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。 最近，来自 Google DeepMind 的研究团队将多模态...
-
Midjourney绘画提示词Prompt参考教程
Midjourney绘画提示词Prompt参考教程：无需魔法使用。 一、AI工具 SparkAi： SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
让Ai帮你工作（4）--锁定图片生成角色
背景： Gpt4多模态模型上来后，MJ也是紧接着发布了V5，微软发布自己Ai作图工具，Abode、unity这些传统老牌作图软件工具也是紧跟着发布自己的AI作图插件工具。这已经标志着Ai作图已经成为计算成像的另一条生成链。 各大厂都已经发布了...
-
微软用GPT-4V解读长视频 MM-Vid能看懂电影还能讲给盲人听
近期，微软Azure AI发布了MM-Vid，这是一项结合GPT-4V与专用工具的创新，致力于解读长视频并为视障人士提供更好的体验。 目前，人工智能在长视频理解领域所面临的复杂挑战，包括分析多个片段、提取不同信息源、实时处理动态环境等。而MM-Vid的工作...
-
刚刚，出行行业首个！百亿估值玩家联合国有运营商开卷大模型
首个落地的交通出行大模型，它来了! 这两年的出行行业，有的卷补贴、规模，有的卷自动驾驶、卷定制车，终于有人开始卷大模型了! 名为“阡陌”，背后是国家队级别的选手:T3出行和中国电信。 T3出行，出行领域快速崛起的明星玩家，曾创造77亿元融资业内纪录，估值早...
-
中文版开源Llama 2同时有了语言、多模态大模型，完全可商用
可以说，AI 初创公司 LinkSoul.Al 的这些开源项目让海外开源大模型在国内的普及和推广速度与国际几乎保持了一致。 7 月 19 日，Meta 终于发布了免费可商用版本 Llama 2，让开源大模型领域的格局发生了巨大变化。 Llama 2 模...
-
全球各行业公司纷纷发布GPT-4相关职位
大型语言模型（LLM）领域正在迅速增长，对深度学习、机器学习、自然语言处理(NLP 等领域的专业人才需求不断上升。随着越来越多的公司采用聊天机器人和其他LLM人工智能技术来提高客户服务和运营效率，对于开发、维护和操作这些系统的才华横溢的个体的需求也在增加。...
-
2028年人类将迎来AGI：DeepMind联合创始人长文预测未来AI发展
10月26日，在X上有三万订阅的Dwarkesh Podcast（矮人播客）主持人Dwarkesh Patel采访了谷歌DeepMind的创始人兼首席AGI科学家Shane Legg。 他们讨论了AGI出现的时间节点、可能的AGI新架构、作为下一个行业标...
-
通用异常检测新曙光：华科大等揭秘GPT-4V的全方位异常检测表现
异常检测任务旨在识别明显偏离正常数据分布的异常值，在工业检验、医学诊断、视频监控和欺诈检测等多个领域都发挥了重要作用。传统的异常检测方法主要依赖于描述正常数据分布以进行正异常样本的区分。然而，对于实际的应用而言，异常检测也需要理解数据的高层语义，从而深入...
-
GPT-5明年降临？爆料人泄露多模态Gobi就是GPT-5，已初现自我意识
【新智元导读】首届开发者大会余温还在，GPT-5突然被爆2024年初就来。OpenAI首秀可谓是赚足了眼球，一系列新品更新，直接让ChatGPT和API同时崩溃。 OpenAI首届开发者大会，就是一场AI盛宴。 GPT-4Turbo、大幅降价、面向开发者新...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
AI大模型的风过去了？不，是离我们越来越近了
OpenAI摊牌了。不再掩藏锋芒，拿年初预测的2亿美元收入做挡箭牌，“我们的年营收达到了13亿美元。”10月中旬Sam Altman终于透露出来。13亿美元，同比增长4500%。 国内。资本和公众的视线越来越多地放在局势变幻、芯片和造车上。 △三季度融资...
-
为何GPT-4P容易受到多模态提示注入图像攻击？
OpenAI新的GPT-4V版本支持图像上传后，带来了一条全新的攻击途径，使大型语言模型（LLM）容易受到多模态注入图像攻击。攻击者可以在图像中嵌入命令、恶意脚本和代码，随后模型会遵从行事。 多模态提示注入图像攻击可以泄露数据、重定向查询、生成错误信息，...
-
多模态LLM幻觉问题降低30%！业内首个“啄木鸟”免重训方法诞生
还在用指令微调解决多模态大模型的“幻觉”问题吗？ 比如下图中模型将橙色柯基错认为“红狗”，还指出周围还有几条。 图片 现在，中科大的一项研究想到了一个全新办法： 一个免重训、即插即用的通用架构，直接从模型给出的错误文本下手，“倒推”出可能出现“幻觉”之处...
-
DeepMind：谁说卷积网络不如ViT？
深度学习的早期成功可归功于卷积神经网络（ConvNets）的发展。近十年来，ConvNets 主导了计算机视觉基准测试。然而近年来，它们越来越多地被 ViTs（Vision Transformers）所取代。 很多人认为，ConvNets 在小型或中等规...
-
4年百亿估值，国产大模型创业TOP 1，清华造
大模型公司智谱AI，一举宣布了年内融资额:25亿元人民币。 如此数额，什么概念?刷新了国内大模型创业公司的累计融资额，估值超过百亿。 这家成立4年的公司，已经成为国产大模型最具吸金力、最具价值认可的公司。 在百模大战来到见真章的“生成式AI第二阶段”，领头...
-
全新视觉提示方法SoM 让GPT-4V看的更准、分的更细
研究人员推出了一种新的视觉提示方法 Set-of-Mark（SoM），它可以让 OpenAI 多模态大模型 GPT-4V 在视觉内容理解方面有了质的提升。GPT-4V 是一种基于 GPT-4的多模态模型，可以同时处理文本和图像，并生成多种类型的输出。 然而...
-
在视觉提示中加入「标记」，微软等让GPT-4V看的更准、分的更细
最近一段时间，我们见证了大型语言模型（LLM）的显著进步。特别是，生成式预训练 Transformer 或 GPT 的发布引领了业界和学术界的多项突破。自 GPT-4发布以来，大型多模态模型 (LMM 引起了研究界越来越多的兴趣，许多工作致力于构建多模态...