-
基于GPT+Adaptor的时间序列多任务统一大模型
今天跟大家聊一聊大模型时间序列预测的最新工作，来自阿里巴巴达摩院，提出了一种基于adaptor的通用时间序列分析框架，在长周期预测、短周期预测、zero-shot、few-shot、异常检测、时间序列分类、时间序列填充等7项时间序列任务上都取得了显著的效...
-
是时候开始拥抱大模型和AIGC了
“不要和我竞争大模型，请用文心一言和别人竞争。“ ——李彦宏 文章目录 前言 国内外主要大模型盘点 AI生成网站 AI 创作音乐 AI 写诗 AI 写小说 古文创作 AI 作画 AI出题和解题 辅助编码 附录 大模型相关链接 AI编...
-
AI视野：谷歌推多模态大模型Gemini；抖音上线抖音心晴；苹果发布 MLX 模型框架；Meta推出AI图像生成器网站
????大模型动态 谷歌发布Gemini 谷歌推出多模态大模型Gemini1.0，具备处理文本、代码、音频、图像和视频等多种信息的能力，分为Ultra、Pro和Nano三种规模，性能超越领先模型，Gemini Ultra在多任务语言理解中首次超越人类专家水...
-
Stable Diffusion 抠图工具使用小记
用stable diffusion有段时间了，最近使用了它的抠图工具 （Remove background）。这里是我对该工具的使用和记录。希望可以帮其他人了解相关内容。文末附100个Lora资源方便大家使用。 ...
-
使用 LoRA 进行 Stable Diffusion 的高效参数微调
LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3 通常在为了适应其下游任...
-
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。 这篇论文的研...
-
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型（MLLMs）领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在明显的空白。为填补这一空白，腾讯人工智能实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
AI视野：Copilot将可免费使用GPT-4Turbo；Bing推深度搜索功能；谷歌推桌面版Chrome“帮我写”；百度腾讯等入股无问芯穹
???AI新鲜事 微软Copilot将可免费使用GPT-4Turbo 微软宣布Copilot将集成OpenAI最新工具，特别是强化版的GPT-4Turbo。GPT-4Turbo具有更大的上下文窗口和更新的知识截止日期，提供更深入的见解。微软表示，整合后将使...
-
五官乱飞，张嘴、瞪眼、挑眉，AI都能模仿到位，视频诈骗要防不住了
防不住，根本防不住，现在 AI 模仿能力已经发展到这种程度了？ 你前脚让自己的五官乱飞，后脚，一模一样的表情就被复现出来，瞪眼、挑眉、嘟嘴，不管多么夸张的表情，都模仿的非常到位。 加大难度，让眉毛挑的再高些，眼睛睁的再大些，甚至连嘴型都是歪的，虚拟人物...
-
新AI技术Gaussian Avatars：让AI轻松模仿瞪眼、挑眉等表情
近期，慕尼黑工业大学等机构的研究团队成功开发了一项名为Gaussian Avatars的AI技术，能够在表情、姿态和视角上实现完全可控的逼真头部。这一技术引起了广泛关注，尤其是在复制人类面部极端表情和细节方面取得了显著进展。 张嘴、瞪眼、挑眉等表情，通过G...
-
抖音跳舞不用真人出镜，一张照片就能生成高质量视频！字节新技术连抱抱脸CTO都下场体验了
看！现在正有四位小姐姐在你面前大秀热舞： 以为是某些主播在短视频平台发布的作品？ No，No，No。 真实答案是：假的，生成的，而且还是只靠了一张图的那种！ 真实的打开方式是这样的： 这就是来自新加坡国立大学和字节跳动最新的一项研究，名叫Magic...
-
新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成
来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。 DreamSync的方法是...
-
【GPT4】微软 GPT-4 测试报告（4）GPT4 的数学能力
**欢迎关注【youcans的AGI学习笔记】原创作品微软 GPT-4 测试报告（1）总体介绍微软 GPT-4 测试报告（2）多模态与跨学科能力微软 GPT-4 测试报告（3）编程能力微软 GPT-4 测试报告（4）数学能力微软 GPT-4 测试报告（5）...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种
大模型的“5年高考3年模拟”数学题来了，还是加强强强版！ 微软、加州大学洛杉矶分校（UCLA）、华盛顿大学（UW）联合打造全新多模态数学推理基准数据集。 名为“MathVista”。 涵盖各种题型共6141个问题，来源于28个现有的多模态数据集和3个新标...
-
GPT-4 未通过图灵测试，GPT-3.5 还败给六十年前的老 AI 系统，最新研究出炉！
过去一年间，能说会道的ChatGPT、最新的 GPT-4大模型，其能力也已超乎很多人的想象，一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远? 近日，一篇由加州大学圣迭戈分校的...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
让3D编辑像PS一样简单，新算法GaussianEditor在几分钟内完成3D场景增删改
3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
生成式人工智能（AIGC）综述：ChatGPT从GPT-4到GPT-5可以一统AIGC？
原文题目： 《A Complete Survey on Generative AI (AIGC : Is ChatGPT from GPT-4 to GPT-5 All You Need?》 文章链接： https://arxiv.org/abs/2...
-
字节跳动与中科大联手提出多模态文档大模型DocPedia
字节跳动与中国科学技术大学合作研发的多模态文档大模型DocPedia已成功突破了分辨率的极限，达到了2560×2560的高分辨率。这一成果是通过研究团队采用了一种新的方法，解决了现有模型在解析高分辨文档图像方面的不足。 在此研究中，提出了DocPedia，...
-
GPT-4惊人表现：文字序列混乱不影响阅读理解
近日，日本东京大学研究人员发现一个有趣的现象:GPT-4在面对文字序列乱序的情况下，仍能准确理解和恢复原文。这一发现与其他大型模型相比显得格外突出。 研究人员通过一系列实验和测试基准，如Scrambled Bench，验证了GPT-4的优越性能。实验结果显...
-
突破分辨率极限，字节联合中科大提出多模态文档大模型
现在连文档都有大模型了，还是高分辨率、多模态的那种! 不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。 比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。 这款模型由字节跳动和中国科学技术大学合作研究，于2023年...
-
GPT-4没通过图灵测试！60年前老AI击败了ChatGPT，但人类胜率也仅有63%
长久以来，「图灵测试」成为了判断计算机是否具有「智能」的核心命题。 上世纪60年代，曾由麻省理工团队开发了史上第一个基于规则的聊天机器人ELIZA，在这场测试中失败了。 时间快进到现在，「地表最强」ChatGPT不仅能作图、写代码，还能胜任多种复杂任务...
-
手机上0.2秒出图、当前速度之最，谷歌打造超快扩散模型MobileDiffusion
在手机等移动端侧运行 Stable Diffusion 等文生图生成式 AI 大模型已经成为业界追逐的热点之一，其中生成速度是主要的制约因素。 近日，来自谷歌的一篇论文「MobileDiffusion: Subsecond Text-to-Image G...
-
驶向未来，首个多视图预测+规划自动驾驶世界模型来了
近期，世界模型的概念引发了火热浪潮，而自动驾驶领域岂能隔岸观「火」。来自中科院自动化所的团队，首次提出了一种名为 Drive-WM 的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。 网站：https://drive-wm.github.io...
-
【精华】AIGC之文生音乐及实践应用
文章目录 AIGC之文生音乐及实践应用 （一）序言 （二）常见算法框架 （1）Mubert （2）Make-An-Audio （3）bark （三）研究里程碑 （四）当前挑战 （1）高自由度音频生成需要依靠大量文本 - 音频对数据 （2...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
如何更好的使用Copilot
Copilot从诞生到现在过去了挺长时间了，大家对Copilot的评价算是褒贬不一吧。有些人觉得Copilot高效且神奇，可以对自己的工作大大提效；有些觉得也就那样，为什么要花那么多钱做这个事情，钱它不香吗？ 从最开始未收费的时候，我就有使用Copilo...
-
专注图表理解，腾讯、南洋理工等开源图表羊驼大模型ChartLlama
在图像理解领域，多模态大模型已经充分展示了其卓越的性能。然而，对于工作中经常需要处理的图表理解与生成任务，现有的多模态模型仍有进步的空间。 尽管当前图表理解领域中的最先进模型在简单测试集上表现出色，但由于缺乏语言理解和输出能力，它们无法胜任更为复杂的问答...
-
AIGC玩转卡通化技术实践
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：https://gith...
-
为什么多数情况下GPT-3.5比LLaMA 2更便宜？
本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。 通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT...
-
文献阅读：LLaMA: Open and Efficient Foundation Language Models
文献阅读：LLaMA: Open and Efficient Foundation Language Models 1. 文章简介 2. 模型训练 1. 训练数据 2. 模型结构 3. 模型训练 1. Optimiz...
-
GPT-4V都考不过？基于大学水平考试的多模态AI测试基准MMMUs发布
近日，一项基于大学水平考试的多模态AI测试基准MMMUs发布，旨在评估机器在广泛多样的任务上的专家级多模态理解和推理能力。这一基准对当前最先进的GPT-4V等模型提出挑战，通过涵盖艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等六个学科的3...
-
最强的GPT-4V都考不过？基于大学考试的测试基准MMMU诞生了
目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，如下排行榜所示。 看起来，GPT-4V 在一些科目上已经强过挂科的大学生了。当然这个数据集的创造目的...
-
ChatGPT新漏洞：失控背出个人隐私泄露训练数据，OpenAI修复后依然有效
ChatGPT最新漏洞曝光，一句话就能让训练数据原封不动地泄露。 只需要让它重复一个词，它就会在一定次数后“发疯”，甚至毫无防备说出某人的个人隐私信息。 DeepMind的研究人员联合华盛顿大学、康奈尔大学等高校，发现了ChatGPT的数据泄露漏洞。...
-
研究发现:AI和人类生成的在线内容同样被认为可信
在当今互联网成为许多人获取信息的主要途径的时代，在线内容及其来源的可信度已经达到了一个关键的转折点。由于ChatGPT和Google Bard等生成人工智能（AI）应用的激增，这一担忧变得更为突出。 与依赖人类生成和策划的传统平台（如维基百科）不同，这些基...
-
22LLMSecEval数据集及其在评估大模型代码安全中的应用：GPT3和Codex根据LLMSecEval的提示生成代码和代码补全，CodeQL进行安全评估【网安AIGC专题11.22】
LLMSecEval: A Dataset of Natural Language Prompts for Security Evaluations 写在最前面 主要工作 课堂讨论 大模型和密码方向（没做，只是一个idea） 相关研究 提示集目...
-
LLaMA 的学习笔记
LLaMA 是一种用于自然语言处理的深度学习模型，它的全称是 Language Learning with Adaptive Multi-task Architecture。它的主要特点是能够根据不同的任务自适应地调整模型结构和参数，从而提高模型的泛化能力...
-
GAIA基准测试揭示人类胜过GPT-4的惊人差距
近日，来自FAIR Meta、HuggingFace、AutoGPT和GenAI Meta的研究人员共同致力于解决通用人工智能助手在处理需要基本技能，如推理和多模态处理的现实问题上所面临的挑战。他们推出了GAIA，这是一个旨在通过定位人类级别的鲁棒性来实现...
-
北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务
训完130亿参数通用视觉语言大模型，只需3天！ 北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。 利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。 具体而言，团队按照提出的新框架...
-
中国团队开源大规模高质量图文数据集ShareGPT4V
中国团队最近开源了一个引人瞩目的图文数据集，命名为ShareGPT4V，它基于GPT4-Vision构建，训练了一个7B模型。这一举措在多模态领域取得了显著的进展，超越了同级别的模型。 该数据集包含了120万条图像-文本描述数据，涵盖了世界知识、对象属性、...
-
训练130亿大模型仅3天，北大提出Chat-UniVi统一图片和视频理解
论文地址：https://arxiv.org/pdf/2311.08046.pdf GitHub 地址：https://github.com/PKU-YuanGroup/Chat-UniVi Huggingface 地址：https://huggi...
-
【网安AIGC专题】46篇前沿代码大模型论文、24篇论文阅读笔记汇总
网安AIGC专题 写在最前面 一些碎碎念 课程简介 0、课程导论 1、应用 - 代码生成 2、应用 - 漏洞检测 3、应用 - 程序修复 4、应用 - 生成测试 5、应用 - 其他 6、模型介绍 7、模型增强 8、数据集 9、模型安全...
-
Meta提出全新注意力机制S2A 大模型准确率提升至80.3%
在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeC...
-
一个提示，让Llama 2准确率飙至80.3%？Meta提出全新注意力机制S2A，大幅降低模型幻觉
2023的科技界，可以说是被大模型抢尽了风头（虚假的室温超导除外）。 我们经历了和LLM对话，见证了它们逐渐进入各个领域，甚至开始感受到威胁。 这一切，仅仅发生在一年之内。 当然了，基于大语言模型的原理，它诞生之时就有的一些毛病到现在也没有完全改正。 比...
-
Hugging Face CEO预测：2024年AI行业六大巨变！
Hugging Face CEO预测2024年，AI行业将出现6大变化，第一条就绷不住了:Hugging Face将破产? 2024年，AI行业将会进化成什么样? OpenAI主席Greg Brockman曾经在去年最后一天预测:2023年会让2022年看...
-
规模小、效率高：DeepMind推出多模态解决方案Mirasol 3B
多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。例如，视频和文本具有不同的采样率。 最近，来自 Google DeepMind 的研究团队将多模态...
-
基于元算法的通用框架，用于无监督学习问题
11 月 13 日，微软研究院（Microsoft Research）和普林斯顿大学研究人员，提出了一个通用框架，用于设计无监督学习问题的有效算法，如高斯分布和子空间聚类的混合。 研究人员所提的框架在解决噪声问题上，使用了一种下界学习计算公式的元算法。...