-
TrajectoryNAS:一种用于轨迹预测的神经结构搜索
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文链接:https://arxiv.org/pdf/2403.11695.pdf 本文介绍了TrajectoryNAS:一种用于轨迹预测的神经结构搜索。自动驾驶系统是一项快速发展的技术,其可以实现...
-
CLIP-BEVFormer:显式监督BEVFormer结构,提升长尾检测性能
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 目前,在整个自动驾驶系统当中,感知模块扮演了其中至关重要的角色,行驶在道路上的自动驾驶车辆只有通过感知模块获得到准确的感知结果后,才能让自动驾驶系统中的下游规控模块做...
-
腾讯机器人研究登顶刊!能帮程序员安显示器,像真人一样协同干活
国产机器人新突破: 两只各自独立的机械臂,已经可以丝滑地打配合了! 不信你看这双手拧瓶盖: 拧完再端起杯子倒水: 活灵活现,如真人。 呐,还能搭把手帮程序员安装好显示屏: 甚至接过“同事”手里的大箱子: 可以说是各种几何和物理特性的物体都能稳稳h...
-
等不及公开了!最新Sora模型细节揭秘:预计峰值需要72万块H100!每月至少4200块H100!缩放定律依旧有效!
作者 | Matthias·Plappert 翻译 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) OpenAI的Sora模型能够生成各种场景的极其逼真的视频,令世界惊叹不已。除了一篇公开的技术报告和TikTok上放出的酷炫视频,就...
-
清华和微软联合起来对提示词下手了!直接缩短80%,跟大模型对话的头疼系数直线下降!变相扩大了上下文窗口!
出品 | 51CTO技术栈(微信号:blog51cto) 想一下,现在普通人调用个大模型有多别扭,你得一个个上传文件,然后再告诉它自己想要什么样的输出,最好给它一套优秀的模版,它才能给出个像样的回答。 这就好比你自己的大脑都快想出答案来了,它只不过是帮...
-
OpenAI颠覆导演!首批7个Sora超现实大片震惊好莱坞
Sora给好莱坞的震撼,就在刚刚变成了现实! 几天前,「OpenAI正在向好莱坞推销Sora」的消息才刚刚传出。 而今天一早,首批拿到Sora授权的导演、艺术家们,就已经公开自己创作的最新短片了。堪称神速! OpenAI为之配文——Sora初印象。...
-
AIGC实战——Transformer模型
AIGC实战——Transformer模型 0. 前言 1. T5 2. GPT-3 和 GPT-4 3. ChatGPT 小结 系列链接 0. 前言 我们在 GPT (Generative Pre-trained Transfo...
-
突破性的百万级视频和语言世界模型:Large World Model~
本文经自动驾驶之心公众号授权转载,转载请联系出处。 在探索如何让AI更好地理解世界方面,最近的一项突破性研究引起了广泛关注。来自加州大学伯克利分校的研究团队发布了“Large World Model, LWM”,能够同时处理百万级长度的视频和语言序列,...
-
CNN、Transformer、Uniformer之外,我们终于有了更高效的视频理解技术
视频理解的核心目标在于对时空表示的把握,这存在两个巨大挑战:短视频片段存在大量时空冗余和复杂的时空依赖关系。尽管曾经占主导地位的三维卷积神经网络 (CNN 和视频 Transformer 通过利用局部卷积或长距离注意力有效地应对其中之一的挑战,但它们在...
-
利用MindsDB和Anyscale微调Mistral 7B模型
在我们为面向客户的聊天应用制作大语言模型 (LLM 时,预训练模型往往是很好的起点,但随着时间的推移,您可能希望去控制该模型聊天的整体行为和给客户带去的“感觉”,而不仅仅由基本模型所能提供。对此,我们虽然可以通过提示工程(prompt engineeri...
-
3D版Sora来了?UMass、MIT等提出3D世界模型,具身智能机器人实现新里程碑
在最近的研究中,视觉-语言-动作(VLA,vision-language-action)模型的输入基本都是2D数据,没有集成更通用的3D物理世界。 此外,现有的模型通过学习「感知到动作的直接映射」来进行动作预测,忽略了世界的动态性,以及动作和动态之间的关...
-
如何利用对抗学习实现产品推荐功能?
作者 | 汪昊 审校 | 重楼 推荐系统自1992 年首篇论文提出协同过滤算法诞生以来,经历了互联网公司百万次的模型迭代,犹如不断涅的凤凰,从一次又一次的低谷中不断重生,先后诞生了百分点、快手、抖音、今日头条等知名的公司和产品。 推荐系统最大的功能在于...
-
应对生成人工智能的挑战,数据治理要如何发展?
最近想到了数据治理,所以我决定通过输入提示来查询ChatGPT:“什么是数据治理?” AI 回应道:“数据治理是一组流程、政策、标准和指南,可确保数据在组织内得到正确管理、保护和利用。”这是一个好的开始,目前关于数据治理及其意义还有很多话要说。 生成人...
-
剑桥团队开源:赋能多模态大模型RAG应用,首个预训练通用多模态后期交互知识检索器
论文链接:https://arxiv.org/abs/2402.08327 DEMO 链接:https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/ 项目主页链接:https://preflm...
-
清华微软开源全新提示词压缩工具,长度骤降80%!GitHub怒砍3.1K星
在自然语言处理中,有很多信息其实是重复的。 如果能将提示词进行有效地压缩,某种程度上也相当于扩大了模型支持上下文的长度。 现有的信息熵方法是通过删除某些词或短语来减少这种冗余。 然而,作为依据的信息熵仅仅考虑了文本的单向上下文,进而可能会遗漏对于压缩至关...
-
通用文档理解新SOTA,多模态大模型TextMonkey来了
最近,华中科技大学和金山的研究人员在多模态大模型 Monkey [1](Li et al., CVPR2024)工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中,TextMonkey 处于国际领先地位,有潜力带来办公自动化、智慧教...
-
微软新工具LLMLingua-2:可将 AI 提示压缩高达80%,节省时间和成本
微软研究发布了名为 LLMLingua-2的模型,用于任务不可知的提示压缩。该模型通过智能地去除长提示中的不必要词语或标记,同时保留关键信息,使得提示长度可减少至原长度的20%,从而降低成本和延迟。研究团队写道:“自然语言存在冗余,信息量不尽相同。” LL...
-
何恺明新作:消除数据集偏差的十年之战
MIT新晋副教授何恺明,新作新鲜出炉: 瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。 该研究为何恺明在Meta期间与刘壮合作完成,他们在论文中指出: 尽管过去十多年里业界为构建更大、更多样化、更全面、偏差更小的数据集做了很多努力,但现代神经...
-
零样本6D物体姿态估计框架SAM-6D,向具身智能更进一步
物体姿态估计在许多现实世界应用中起到至关重要的作用,例如具身智能、机器人灵巧操作和增强现实等。 在这一领域中,最先受到关注的任务是实例级别 6D 姿态估计,其需要关于目标物体的带标注数据进行模型训练,使深度模型具有物体特定性,无法迁移应用到新物体上。后来...
-
llama factory 参数体系EvaluationArguments、DataArguments、FinetuningArguments、FreezeArguments、LoraArgument
项目地址 https://github.com/hiyouga/LLaMA-Factory 模型层参数 这段代码是使用Python的dataclasses模块定义的一个数据类ModelArguments,用于管理和存储与模型微调相关的参数。这个类的设计是...
-
图像生成地表最强!Playground v2.5技术报告解读重磅来袭!超越SD、DALL·E 3和 Midjourney
文章链接:https://arxiv.org/pdf/2402.17245 模型地址: https://huggingface.co/playgroundai/playground-v2.5-1024px-aesthetic 本文分享了在文本到图像生成模...
-
每日一看大模型新闻(2024.1.4)中国AIGC广告营销产业全景报告:五大变革四大影响;马斯克也逃不过「科目三」,阿里这个应用都要把外国人馋哭了;通义千问:上线图生视频功能
1.产品发布 1.1首创pix2emb范式!NUS清华联合发布NExT-Chat:对话/检测/分割全能多模态大模型 发布日期:2024-1-4 首创pix2emb范式!NUS清华联合发布NExT-Chat:对话/检测/分割全能多模态大模型...
-
深圳3公里精准预报!华为发布首个区域天气预报AI模型“智霁”1.0
快科技3月23日消息,在今天世界气象日的气候行动最前线”主题活动上,华为云与深圳市气象局共同发布了首个人工智能区域预报模型智霁”1.0,标志着气象预报迎来了新的里程碑。 这一区域模型以华为云盘古气象大模型为基础,融合了区域高质量气象数据集,能够迅速地为未来...
-
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs,参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型,此外...
-
Sora不开源,微软给你开源!全球最接近Sora视频模型诞生,12秒生成效果逼真炸裂
微软版Sora诞生了! Sora虽爆火但闭源,给学术界带来了不小的挑战。学者们只能尝试使用逆向工程来对Sora复现或扩展。 尽管提出了Diffusion Transformer和空间patch策略,但想要达到Sora的性能还是很难,何况还缺乏算力和数据集...
-
微软NaturalSpeech语音合成推出第三代,网友惊呼:超自然!实至名归
文本到语音合成(Text to Speech,TTS)作为生成式人工智能(Generative AI 或 AIGC)的重要课题,在近年来取得了飞速发展。在大模型(LLM)时代下,语音合成技术能够扩展大模型的语音交互能力,更是受到了广泛的关注。 多年来,微...
-
Stable Diffusion 模型下载和使用方法
1、Stable Diffusion模型简介 上一文中《Stable Diffusion绘图神器,2分钟极速安装教程!(提供安装包)-CSDN博客》,给大家介绍了Stable Diffusion的安装方法和简单的使用方式,有...
-
LLM、RAG虽好,但XGBoost更香!
编译 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 数据&AI企业家、投资人Oliver Molander 近日在LinkedIn上的帖子中打趣道:“如果你在2022年[ChatGPT推出]之前问人工智能专家什么是LL...
-
最全总结!机器学习优化算法!
机器学习的最优化算法是用于找到最佳模型参数,以最小化预测误差的算法。这些算法通过迭代地调整模型参数,以不断改进模型的性能。 本文系统地介绍了优化算法,基本脉络是从优化的基础知识,到各种优化算法原理的介绍及代码示例,最后放上各种算法的对比及实践经验总结!...
-
文生图的基石CLIP模型的发展综述
CLIP的英文全称是Contrastive Language-Image Pre-training,即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型,CLIP的训练数据是文本-图像对:一张图像和它对应的文本描述,这里...
-
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库,成功的在本地搭建了一个大模型。此外,还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m3e 3....
-
数据本地性如何助力企业在云上实现高效机器学习
2.2 训练前将数据从远端拷贝到本地 另一种方案是在训练开始之前手动将数据集从远端云存储拷贝到本地磁盘/存储中。这样可以让数据位于本地,从而具备数据本地性的所有性能和成本优势。该方案的挑战主要在于数据管理。用户必须在作业完成后手动删除已拷贝的数据,为下一...
-
人工智能可以预测犯罪吗?探索CrimeGPT的能力
人工智能(AI 与执法的交叉点开辟了犯罪预防和侦查的新领域。人工智能的预测能力通常被封锁在CrimeGPT(犯罪预测技术 等系统中,越来越多地用于预测犯罪活动。本文探讨了人工智能在预测犯罪方面的潜力、目前的应用、面临的挑战以及此类技术的道德影响。 人工...
-
深度估计SOTA!自动驾驶单目与环视深度的自适应融合
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&个人理解 多视图深度估计在各种基准测试中都取得了较高性能。然而,目前几乎所有的多视图系统都依赖于给定的理想相机姿态,而这在许多现实世界的场景中是不可用的,例如自动驾驶。本工作提出了一...
-
MIT研究员推新AI图片生成框架DMD:AI 单步生成高质量图像 速度快30倍
在当今人工智能时代,计算机可以通过扩散模型生成自己的 “艺术”,逐步向嘈杂的初始状态添加结构,直到清晰的图像或视频出现。 扩散模型突然变得异常受欢迎:输入几个词,即可体验现实与幻想交汇的梦幻景象。在幕后,这涉及一个复杂、耗时的过程,需要算法多次迭代才能完美...
-
符尧大佬一作发文,仅改训练数据,就让LLaMa-2上下文长度扩展20倍!
引言:探索语言模型的长上下文能力 近日,谷歌推出了Gemini Pro 1.5,将上下文窗口长度扩展到100万个tokens,目前领先世界。而其他语言模型也正在不断探索长上下文能力,也就是模型处理和理解超出其训练时所见上下文长度的能力。例如,一个模型可能...
-
AtomoVideo:AIGC赋能下的电商视频动效生成
✍? 本文作者:凌潼、依竹、桅桔、逾溪 1. 概述 当今电商领域,内容营销的形式正日趋多样化,视频内容以其生动鲜明的视觉体验和迅捷高效的信息传播能力,为商家创造了新的机遇。消费者对视频内容的偏好驱动了视频创意供给的持续增长,视觉内容...
-
CMU朱俊彦、Adobe新作:512x512图像推理,A100只用0.11秒
简笔素描一键变身多风格画作,还能添加额外的描述,这在 CMU、Adobe 联合推出的一项研究中实现了。 作者之一为 CMU 助理教授朱俊彦,其团队在 ICCV 2021 会议上发表过一项类似的研究:仅仅使用一个或数个手绘草图,即可以自定义一个现成的 GA...
-
实施稳健的AI治理以实现数据民主化
根据Gartner的数据,到2026年,超过80%的企业将使用GenAI API和模型,或在生产中部署启用GenAI的应用程序,而去年这一比例不到5%。GenAI的自然语言界面允许非技术用户,从部门负责人到一线工作人员,更轻松地访问和使用数据。这...
-
人工智能与数据分类和治理的重要作用
在人工智能(AI 重塑各行各业格局的时代,公共部门的实施因其提高效率、决策能力和服务交付的潜力而脱颖而出。然而,任何有效的人工智能系统的基础在于其准确处理和分析数据的能力。这就是数据分类变得至关重要的地方。数据分类不仅仅是一个技术程序;它是一项战略要务...
-
ai论文写作靠谱吗?博士论文ai智能写作
一篇优秀的学位论文不仅需要有创新性的论证角度和恰当的研究方法,更需要构建一个逻辑清晰、均衡的论证体系,并结合有力的数据分析来支撑观点。通过这样的方式,我们可以确保论文具备严密的论证过程。 今天,小编将通过Excel表格数据集为大家演示。 "ChatGP...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型(如 Llama 2 和 Mistral)的人。使用 QLoRA,我们将逐步完成...
-
一统所有目标感知任务,华科&字节提出目标感知基础模型GLEE
近年来,LLM 已经一统所有文本任务,展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力,其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务,目前...
-
GenAI:重新定义数据驱动的转型
规范的数据工程方法是有效的GenAI策略的基础,这是实现数据驱动转型的必要条件。 每年,世界经济论坛都是各领域思想领袖的聚集地,他们在这里探讨当今世界及其未来的最受关注问题。今年,人工智能成为每个论坛的焦点,并吸引了全球所有决策者的注意力。 过去的一年...
-
英伟达推出NeMo,极大简化自定义生成式AI开发
为了帮助全球开发者、企业更好的开发定制大模型和生成式AI产品,例如,聊天机器人、编程代码助手等。 NVIDIA宣布推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理...
-
【AIGC】2023年生成式AI发展综述
文章目录 一、文本生成 & 智能问答 二、AI绘画 三、音频生成 四、视频生成 五、三维生成 & 数字人 5.1 通用三维生成 5.2 数字人 展望:通用人工智能趋势 2023年是人工智能内容生成(AIGC)...
-
无需提示词,Stability AI 演示 MindEye:目标想什么就能生成什么
3 月 21 日消息,AI 浪潮席卷而来,此前不少人认为“提示词工程师”会成为新兴工种,而 MindEye 的问世表明,这个岗位或许没有存在的价值了。 此前不少人认为,未来 AI 时代并不在于某个模型是否强大,而是在于人类是否能够更高效利用这些 AI...
-
chatGPT的耳朵!OpenAI的开源语音识别AI:Whisper !
语音识别是通用人工智能的重要一环!可以说是AI的耳朵! 它可以让机器理解人类的语音,并将其转换为文本或其他形式的输出。 语音识别的应用场景非常广泛,比如智能助理、语音搜索、语音翻译、语音输入等等。 然而,语音识别也面临着很多挑战,比如不同的语言、口音...
-
为什么AI小模型才是最好的答案
作者 | 涂承烨 审校 | 重楼 一、AI大模型介绍与局限 AI大模型,特别是基于深度学习的模型,在许多领域都有着广泛的应用前景。这些领域包括但不限于医疗、金融、工业、教育、智慧城市等。随着技术的不断进步和应用的深入,AI大模型将在更多领域发挥重要作...
-
端到端大一统前夕?GenAD:LLM和轨迹规划全搞定
今天汽车人和大家分享一篇自动驾驶领域中第一个大规模视频预测模型。为了消除高成本数据收集的限制,并增强模型的泛化能力,从网络获取了大量数据,并将其与多样化和高质量的文本描述配对。由此产生的数据集累积了超过2000小时的驾驶视频,涵盖了世界各地具有多样化天气...