-
最新开源！更擅长推理的LLaMA大模型，支持中文
©PaperWeekly 原创 · 作者 | 李忠利 研究方向 | 自然语言处理 跟大家介绍一下自己最近训练的 LLaMA 模型——BiLLa: A Bilingual LLaMA with Enhanced Reasoning Abi...
-
AI：你总要高清视频，它来了
Magnific 图像超分 & 增强工具还正在火热体验中，它强大的图像升频与再创能力收获一致好评。现在，视频领域也有了自己的 Magnific。 拍摄的街道视频一片模糊，仿佛高度近视没戴眼镜一样： 与之相比，下面的视频清晰度高了很多： 视频画...
-
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
大模型伪装「潜伏特工」学会欺骗！OpenAI劲敌重磅研究震惊马斯克
不要教LLM学会骗人！不要教LLM学会骗人！不要教LLM学会骗人！ 因为后果可能会很严重，甚至超出人类的想象。 最近，AI初创公司Anthropic的研究表明，一旦LLM学会了人类教授的欺骗行为，它们就会在训练和评估的过程中隐藏自己，并在使用时偷偷输出恶...
-
Mistral AI推出Mixtral 8x7B：一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5
## 划重点: 1. ? **创新模型介绍:** Mistral AI 的研究团队推出了基于 Sparse Mixture of Experts（SMoE）模型的 Mixtral8x7B 语言模型，采用开放权重。 2. ? **性能突出:** Mixtra...
-
精确指出特定事件发生时间！字节&复旦大学多模态大模型解读视频太香了
字节&复旦大学多模态理解大模型来了： 可以精确定位到视频中特定事件的发生时间。 比如在下面这个视频中： 狗子转身看镜头时的时间戳是多少？ 什么时候用爪子推开滑板？ 在这里，视频中的宝宝什么时候推起眼镜、舒展了一下身体？又是什么时候翻的书？ 对...
-
RoboFusion：通过SAM实现稳健的多模态3D检测
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2401.03907.pdf 多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，...
-
AI机器人席卷CES！OpenAI暗自解除ChatGPT军事应用限制，天网来了？
前一阵的斯坦福「炒虾机器人」，让无数人感慨：2024年怕不是要成为机器人元年？ 就在这几天的CES 2024上，又一大波机器人在展厅里引起了轰动！ 比如这个机器人咖啡师，娴熟地将一壶光滑的泡沫牛奶倒在拿铁咖啡上。 开始，它会慢慢倒出牛奶，随后，它优雅...
-
大模型隐蔽后门震惊马斯克：平时人畜无害，提到关键字瞬间“破防”
“耍心机”不再是人类的专利，大模型也学会了！ 经过特殊训练，它们就可以做到平时深藏不露，遇到关键词就毫无征兆地变坏。 而且，一旦训练完成，现有的安全策略都毫无办法。 ChatGPT“最强竞对”Claude的背后厂商Anthropic联合多家研究机构发表...
-
AIGC之Image2Video（一）| Animate Anyone：从静态图像生成动态视频，可将任意图像角色动画化
近日，阿里发布了Animate Anyone，只需一张人物照片，结合骨骼动画，就能生成人体动画视频。 项目地址：https://humanaigc.github.io/animate-anyone/ 论文地址：https://ar...
-
拆掉英伟达护城河，细节曝光！世界最快超算用3072块AMD GPU训完超万亿参数LLM
用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。 位于美国橡树岭国家实验室（Oak Ridge National Laboratory）的全世界最大的超算Frontier，集合了37888个MI250X GPU和9472个Epyc 7A53 C...
-
即插即用，完美兼容：SD社区的图生视频插件I2V-Adapter来了
图像到视频生成（I2V）任务旨在将静态图像转化为动态视频，这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息，同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一...
-
【AIGC】大模型协作系统 HuggingGPT 深度解析
欢迎关注【youcans的 AIGC 学习笔记】原创作品 【AIGC】大模型协作系统 HuggingGPT 深度解析 1. 摘要 2. 前言 3. HugginGPT 大模型协作系统 3.1 任务规划 3.2 模型选择 3.3 任务执行...
-
百度最强中文AI作画大模型
前言 最近文生图领域的发展可谓是分生水起，这主要是得益于最近大火的扩散模型，之前笔者也写过一篇关于文本生产3D模型的文章，大家感兴趣的可以穿梭： https://zhuanlan.zhihu.com/p/570332906 今天要给大家介绍...
-
谷歌AI通过图灵测试，大模型医生来了？GPT-4竟诊断出难倒17个医生的怪病
【新智元导读】AI在医疗领域再次发光!谷歌DeepMind团队发布的全新诊断对话式AI在测试中击败医生，通过了图灵测试，再次引领医疗AI的革命。 我们需要研发对人类有益AGI的原因之一: OpenAI联创Greg Brockman的一番话点明，当前先进A...
-
GauHuman开源：基于Gaussian Splatting，高质量3D人体快速重建和实时渲染框架
论文名称：GauHuman: Articulated Gaussian Splatting from Monocular Human Videos 论文下载地址：https://arxiv.org/abs/2312.02973 项目主页：https...
-
大模型相关技术综述
多模态大模型&大模型训练语料持续迭代 已经开始整理多模态-视觉部分： 主要分为一下几块 多模态信息压缩模型（clip、vit、swiT） 生成模型（vae、gan、flow、ddpm、sde... 其它多模态大模型（语音...
-
效果超越Gen-2！字节最新视频生成模型，一句话让绿巨人戴上VR眼镜
一句话，就让绿巨人戴上VR眼镜。 4K画质那种。 熊猫的奇幻漂流~ 这是字节最新的AI视频生成模型MagicVideo-V2，各种奇思妙想的想法都能实现。它不仅支持4K、8K超高分辨率，轻松hold各种绘图风格。 △从左往右：油画风、赛博风、设计风...
-
一部iPhone实时渲染300平房间，精度达厘米级别！谷歌最新研究证明NeRF没死
3D实时渲染大型场景，一台电脑，甚至一部手机就可以完成。 从家里的客厅到主卧，储物间，厨房，卫生间各个死角，都能逼真在电脑中完成渲染，如同拍摄实物视频一般。 而且，你还可以在一台iPhone上完成复杂场景渲染。 来自谷歌、谷歌DeepMind和图宾根...
-
放射科医生再临危机！国外五大机构联合发布「胸部X光」最新基准
胸部X光（CXR）检查是一种广泛应用于各种疾病的筛查、诊断检查的临床成像方式。 临床诊断中，不仅包括常见的疾病类型，往往还会描述相应严重程度和不确定性，目前的医学图像数据库往往满足于预测疾病类型，而忽视了具有重大临床意义的后者。 最近，德州州立阿灵顿分校...
-
【AI绘画 | draft意间】国产draft推荐及AI绘画背后的原理解读
写在前面： 学习人工智能？来我们的床长人工智能教程网站！全面的课程，适合任何想学习的人。基础知识到高级应用，我们都有。职场人士、学生或爱好者，都能快速提升技能水平。赶快来尝试吧！ 个人名片： ?作者简介：一名大二在校生，喜欢编程?...
-
视频场景图生成任务新SOTA！中山大学提出全新时空知识嵌入框架，登顶刊TIP'24
视频场景图生成（VidSGG）旨在识别视觉场景中的对象并推断它们之间的视觉关系。 该任务不仅需要全面了解分散在整个场景中的每个对象，还需要深入研究它们在时序上的运动和交互。 最近，来自中山大学的研究人员在人工智能顶级期刊IEEE T-IP上发表了一篇论文...
-
新一代图像合成模型：Stable Diffusion XL（SDXL）上线！
几个使用Stable Diffusion XL 1.0生成的图像示例。 新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。 周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diff...
-
为大模型恶补数学，上交开源MathPile语料库，95亿tokens，还可商用
在当前智能对话模型的发展中，强大的底层模型起着至关重要的作用。这些先进模型的预训练往往依赖于高质量且多样化的语料库，而如何构建这样的语料库，已成为行业中的一大挑战。 在备受瞩目的 AI for Math 领域，由于高质量的数学语料相对稀缺，这限制了生成式...
-
AIGC之论文笔记DALL-E
文章目录 Zero-Shot Text-to-Image Generation 一. 简介 二. 方法 2.1. 第一阶段：Learning the visual codebook 2.1.1 回顾VQ-VAE 2.1.2...
-
首个国产开源MoE大模型来了！性能媲美Llama 2-7B，计算量降低60%
开源MoE模型，终于迎来首位国产选手！ 它的表现完全不输给密集的Llama 2-7B模型，计算量却仅有40%。 这个模型堪称19边形战士，特别是在数学和代码能力上对Llama形成了碾压。 它就是深度求索团队最新开源的160亿参数专家模型DeepSeek...
-
AI机器人席卷CES！OpenAI暗自解除ChatGPT这项限制，天网来了？
【新智元导读】CES2024上，各路机器人又是做咖啡拉花，又是给人按摩，让人大开眼界。然而就在这时，网友却惊讶地发现，OpenAI竟然悄悄删除了ChatGPT用于*和战争的限制! 前一阵的斯坦福「炒虾机器人」，让无数人感慨:2024年怕不是要成为机器人元年...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
Textual Inversion: 一种精调Stable Diffusion模型的方法
引言 最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的限制。...
-
Whisper OpenAI开源语音识别模型
介绍 Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练...
-
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍! 而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。 有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。 近日，来自得克萨斯农...
-
Stable Diffusion 文生图技术原理
图像生成模型简介 图片生成领域来说，有四大主流生成模型：生成对抗模型（GAN）、变分自动编码器（VAE）、流模型（Flow based Model）、扩散模型（Diffusion Model）。 从2022年开始，主要爆火的图片生成模型是Diffusi...
-
单帧标注视频就能学到片段特征，达到全监督性能！华科拿下时序行为检测新SOTA
如何从一段视频中找出感兴趣的片段？时序行为检测（Temporal Action Localization，TAL）是一种常用方法。 利用视频内容进行建模之后，就可以在整段视频当中自由搜索了。 而华中科技大学与密歇根大学的联合团队最近又为这项技术带来了新的...
-
新AI图像分割方法GenSAM：一个提示实现批量图片分割
近期，研究人员提出了一种新型图像分割方法，称为Generalizable SAM（GenSAM）模型。该模型的设计目标是通过通用任务描述，实现对图像的有针对性分割，摆脱了对样本特定提示的依赖。在具体任务中，给定一个任务描述，例如“伪装样本分割”，模型需要根...
-
微软祭出代码大模型WaveCoder！四项代码任务两万个实例数据集，让LLM泛化能力飙升
用高质量数据集进行指令调优，能让大模型性能快速提升。 对此，微软研究团队训练了一个CodeOcean数据集，包含了2万个指令实例的数据集，以及4个通用代码相关任务。 与此同时，研究人员微调了一个代码大模型WaveCoder。 论文地址：https://...
-
告别逐一标注，一个提示实现批量图片分割，高效又准确
Segment Anything Model (SAM 的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM 仍然面临一个无法回避的问题：为了使 SAM 能够准确地分割出目标物体的位置，每张图片都需要手动提供一...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
SparseOcc：全稀疏3D全景占用预测（语义+实例双任务）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文：Fully Sparse 3D Panoptic Occupancy Prediction 链接：https://arxiv.org/pdf/2312.17118.pdf 这篇论文的出发点是什么...
-
Meta最新模型LLaMA详解（含部署+论文）
来源：投稿 作者：毛华庆 编辑：学姐 前言 本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。 文章标题：LLaMA: Open and Efficient Foundation Language Mode...
-
1张图2分钟转3D！纹理质量、多视角一致性新SOTA｜北大出品
只需两分钟，玩转图片转3D！ 还是高纹理质量、多视角高一致性的那种。 不管是什么物种，输入时的单视图图像还是这样婶儿的： 两分钟后，3D版大功告成： △上，Repaint123（NeRF）；下，Repaint123（GS） 新方法名为Repaint...
-
Make-A-Video（造啊视频）——无需文字-视频数据的文字转视频（文生视频）生成方法
© 2022 Uriel Singer et al (Meta AI © 2023 Conmajia 本文基于论文 Make-A-Video: Text-to-Video Generation without Text-Video Data（220...
-
AI测出你几岁死亡？Transformer「算命」登Nature子刊，成功预测意外死亡
【新智元导读】AI算命将可以预测人类的意外死亡?丹麦科学家用全国600万人的公开数据训练了一个基于Transformer的模型，成功预测了意外死亡和性格特点。 AI真的可以用来科学地算命了!? 丹麦技术大学 （DTU） 的研究人员声称他们已经设计出一种人工...
-
AI绘画：Lora模型训练完整流程！
关于AI绘画(基于Stable Diffusion Webui ，我之前已经写过三篇文章，分别是 软件安装，基本的使用方法，微调模型LoRA的使用。 整体来说还是比简单的，搞个别人的模型，搞个提示词就出图了。今天来一个有些难度的，自己训练一个LoRA微...
-
首创pix2emb范式！NUS清华联合发布NExT-Chat：对话/检测/分割全能多模态大模型
随着ChatGPT的爆红，多模态领域也涌现出一大批可以处理多种模态输入的对话模型，如LLaVA, BLIP-2等等。 为了进一步扩展多模态大模型的区域理解能力，近期新加坡国立大学NExT++实验室和清华大学的研究人员联手打造了一个可以同时进行对话和检测、...
-
人工智能可以像人类一样拥有创造力吗？
创造力是人类的一种独特的能力，它使我们能够创造出新颖、有价值、有意义的作品，如艺术、文学、科学、技术等。创造力也是人类社会的一种重要的驱动力，它促进了文化、经济、教育等领域的发展和进步。创造力到底是什么？它是如何产生的？它又如何被评估和提升的？这些问题一...
-
超逼真！实时高质量渲染，用于动态城市场景建模的Street Gaussians
本文经自动驾驶之心公众号授权转载，转载请联系出处。 不得不说，技术更新太快了，Nerf在学术界慢慢被替换下去了。Gaussians登场了，浙江大学的工作 论文：Street Gaussians for Modeling Dynamic Urban Sc...
-
只需1080ti，即可在遥感图像中对目标进行像素级定位！代码数据集已开源！
太长不看版 这篇论文介绍了一项新的任务 —— 指向性遥感图像分割（RRSIS），以及一种新的方法 —— 旋转多尺度交互网络（RMSIN）。RRSIS 旨在根据文本描述实现遥感图像中目标对象的像素级定位。为了解决现有数据集规模和范围的限制，本文构建了一个新...
-
模型A：幸亏有你，我才不得0分，模型B：俺也一样
琳琅满目的乐高积木，通过一块又一块的叠加，可以创造出各种栩栩如生的人物、景观等，不同的乐高作品相互组合，又能为爱好者带来新的创意。 我们把思路打开一点，在大模型（LLM）爆发的当下，我们能不能像拼积木一样，把不同的模型搭建起来，而不会影响原来模型的功能，...
-
当LLM学会左右互搏，基础模型或将迎来集体进化
金庸武侠小说中有一门武学绝技：左右互搏；乃是周伯通在桃花岛的地洞里苦练十余年所创武功，初期想法在于左手与右手打架，以自娱自乐。而这种想法不仅能用来练武功，也能用来训练机器学习模型，比如前些年风靡一时的生成对抗网络（GAN）。 进入现今的大模型 (LLM ...