-
斯坦福和OpenAI提出meta-prompting，最强零样本prompting技术诞生了
最新一代语言模型（尤其是 GPT-4、PaLM 和 LLaMa）已经成功拓展了自然语言处理和生成的边界。这些大规模模型可以解决许多不同任务，从写莎士比亚风格的十四行诗到总结复杂的医疗报告和解决竞赛级的编程问题。尽管这些模型可以解决多种多样的问题，但它们并...
-
抛弃编码器-解码器架构，用扩散模型做边缘检测效果更好，国防科大提出DiffusionEdge
现有的深度边缘检测网络通常基于包含了上下采样模块的编码器 - 解码器架构，以更好的提取多层次的特征，但这也限制了网络输出既准又细的边缘检测结果。 针对这一问题，一篇 AAAI 2024 上的论文给出了新的解决方案。 论文题目：DiffusionEd...
-
吉他摇滚、电子音乐都能搞定，Meta开源音频生成新模型MAGNeT，非自回归7倍提速
在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。 前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，...
-
7B开源数学模型干翻千亿GPT-4，中国团队出品
7B开源模型，数学能力超过了千亿规模的GPT-4！ 它的表现可谓是突破了开源模型的极限，连阿里通义的研究员也感叹缩放定律是不是失效了。 无需借助任何外部工具，它就能在竞赛水平的MATH数据集上达到51.7%的准确率。 在开源模型中，它第一个在该数据集上...
-
OccNeRF：完全无需激光雷达数据监督
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人总结 近年来，3D 占据预测（3D Occupancy Prediction）任务因其独特的优势获得了学界及业界的广泛关注。3D 占据预测通过重建周围环境的 3D 结构为自...
-
大语言模型之LlaMA系列- LlaMA 2及LLaMA2_chat(上)
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。 在许多开放的基准测试中Llama 2-Chat优于其他开源的聊天模型，此外...
-
三篇论文解决「语义分割的优化和评估」难题！鲁汶/清华/牛津等联合提出全新方法
优化语义分割模型常用的损失有Soft Jaccard损失，Soft Dice损失和Soft Tversky损失，但它们都和软标签不兼容，所以无法支持一些重要的训练技术（例如标签平滑，知识蒸馏，半监督学习，多标注员等）。 另一方面，语义分割常用的评价指标...
-
向完全自主性更进一步，清华、港大全新跨任务自我进化策略让智能体学会「以经验为鉴」
「以史为鉴，可以知兴替。」 人类的进步史，可以看作是一个不断吸取过去经验、不断推进能力边界的自我演化过程。在这个过程中，我们吸取过去失败的教训以纠正错误，借鉴成功的经验以提升效率和效果。这种自我进化的过程在我们的生活中无所不在：从如何总结经验以更好地解决...
-
LLaVA：GPT-4V(ision) 的开源替代品
LLaVA（大型语言和视觉助理）（链接：：https://llava-vl.github.io/）是一个很有前途的开源生成式人工智能模型，它复制了OpenAI GPT-4在图像转换方面的一些功能。用户可以将图像添加到LLaVA聊天对话中，允许讨论这些图像...
-
【AIGC-图片生成视频系列-6】SSR-Encoder：用于主题驱动生成的通用编码器
目录 一. 贡献概述 二. 方法详解 a 训练阶段 b 推理生成阶段： 三. 综合结果 四. 注意力可视化 五. 选择性主题驱动图像生成 六. 人体图像生成 七. 可推广到视频生成模型 八. 论文 九. 个人思考 稳定扩散（S...
-
2023-12-12 AIGC-AI工具的基本工作原理
摘要: 2023-12-12 AIGC-AI工具的基本工作原理 AI工具的基本工作原理 AI工具的基本工作原理涉及到一系列复杂的技术和算法。这些原理可以根据不同类型的AI工具进行概括，包括机器学习、自然语言处理、图像识别等。以下是一些关键的A...
-
音频秒生全身虚拟人像，AI完美驱动面部肢体动作！UC伯克利Meta提出Audio2Photoreal
就在最近，Meta和UC伯克利联合提出了一种全新的虚拟人物形象生成的方法—— 直接根据音频生成全身人像，效果不仅逼真，还能模拟出原音频中包含的细节，比如手势、表情、情绪等等。 图片 论文地址：https://arxiv.org/abs/2401.0188...
-
iPhone动嘴10秒P图！UCSB苹果全华人团队发布多模态MGIE，官宣开源人人可玩
几天前，库克在苹果电话会上证实，「今年晚些时候会发布生成式AI」。 ChatGPT掀起全球热潮之后，苹果也在悄悄发力AI，曾曝出的大模型框架Ajax、AppleGPT等AI工具让业界充满了期待。 6月举办的WWDC上，这家曾霸占全球市值第一公司，将会宣布...
-
比OpenAI官方提示词指南更全，这26条黄金准则让LLM性能飙升50%以上
论文地址: https://arxiv.org/abs/2312.16171 Github地址: https://github.com/VILA-Lab/ATLAS 论文标题：Principled Instructions Are All You...
-
CMU&ETH实现突破：机器狗点满敏捷值天赋，超高速穿越障碍，速度与安全兼备！
在高速机器人运动领域，实现同时兼顾速度和安全一直是一大挑战。但现在，卡内基梅隆大学（CMU）和苏黎世联邦理工学院（ETH）的研究团队带来了突破性进展。他们开发的新型四足机器人算法，不仅能在复杂环境中高速行进，还能巧妙避开障碍，真正做到了「敏捷而安全」。...
-
大模型真能解决一切吗？关于知识驱动自动驾驶的一些思考
本文经自动驾驶之心公众号授权转载，转载请联系出处。 上个星期受邀在外面做了一次关于「知识驱动自动驾驶」的讲座，刚好借这个机会把之前我和团队的一些学术上的思考整理凝练了一下。感觉里面一些内容还是挺值得拿出来分享&讨论的，所以开这么个帖子把其中一些关...
-
苹果研究团队揭示WRAP技术：用合成数据进行预训练大模型 成本低准确性高
近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。 然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原...
-
Segment Anything论文翻译，SAM模型，SAM论文，SAM论文翻译；一个用于图像分割的新任务、模型和数据集；SA-1B数据集
【论文翻译】- Segment Anything / Model / SAM论文 论文链接： https://arxiv.org/pdf/2304.02643.pdf https://ai.facebook.com/research/publica...
-
流量工程将代码生成的准确率提高一倍：由19%提高至44%
一篇新论文的作者提出了一种“强化”代码生成的方法。 代码生成是人工智能中一项越来越重要的能力。它指训练机器学习模型，基于对所需程序功能的自然语言描述自动生成计算机代码，并有许多潜在的应用，从将软件规格转换成实用代码、自动化后端开发到协助人类程序员，不一...
-
图感知对比学习提升多变量时间序列分类效果
今天给大家介绍一篇AAAI 2024中，由新加坡科技研究局（A*STAR）和新加坡南洋理工大学联合发表的时间序列分类工作，通过图感知对比学习改善多变量时间序列分类，取得了非常显著的效果提升。 图片 论文标题：Graph-Aware Contrasting...
-
不分割成token，直接从字节中高效学习，Mamba原来还能这样用
在定义语言模型时，通常会使用一种基本分词方法，把句子分为词（word）、子词（subword）或字符（character）。其中，子词分词法一直是最受欢迎的选择，因为它在训练效率和处理词汇表外单词的能力之间实现了自然的折中。然而，一些研究指出了子词分词法...
-
打破MoE训练效率与性能瓶颈，华为盘古稀疏大模型全新架构LocMoE出炉
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数...
-
Agent像人一样分工协作，还能“群聊”交换信息
智能体也要有“规范手册”！ 一项名为MetaGPT的研究，通过对智能体角色进行明确分工，并要求多个智能体在协作中采用统一规范的“交流格式”等方法，让智能体性能大增。 目前，这项研究在GitHub上已狂揽33.6k星，并在深度学习顶会ICLR 2024上被...
-
中文创意写作能力超GPT-4，「最会写」的中文大模型Weaver来了
ChatGPT 等通用大模型支持的功能成百上千，但是对于普通日常用户来说，智能写作一定是最常见的，也是大模型最能真正帮上忙的使用场景之一。尽管大模型经常能写出看起来像模像样的文字，但是大多数情况下内容的创意程度和文风都经不起深究。尤其是在创作领域，大模型...
-
图领域首个通用框架来了！入选ICLR'24 Spotlight，任意数据集、分类问题都可搞定
能不能有一种通用的图模型—— 它既能够根据分子结构预测毒性，又能够给出社交网络的朋友推荐？ 或者既能预测不同作者的论文引用，还可以发现基因网络中的人类衰老机制？ 你还真别说，被ICLR 2024接收为Spotlight的“One for All（OFA）...
-
匿名论文提出奇招，增强大模型长文本能力居然还能这么做
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展? 不行，这些都太费硬件资源了。 来看一个奇妙新解: 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。 具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流...
-
详解“小而优”的大语言模型Zephyr 7B
Zephyr是Hugging Face发布的一系列大语言模型，使用蒸馏监督微调(dSFT 在更庞大的模型上进行训练，显著提高了任务准确性。 2023年是属于大语言模型(LLM 和开源的一年。许多初创公司和企业开放了模型和权重的源代码，以应对ChatGPT...
-
像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包...
-
陶哲轩看了都直呼内行！谷歌等用LLM自动证明定理拿顶会杰出论文，上下文越全证得越好
Transformer的技能树是越来越厉害了。 来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了一篇论文，利用大语言模型自动生成定理的完整证明。 论文地址：https://arxiv.org/pdf/2303.04910...
-
【AIGC-图片生成视频系列-3】AI视频随心而动：MotionCtrl的相机运动控制和物体运动控制
目录 一. 项目简介 二. 主要贡献 三. 摘要 四. 实现方法和管线 五. 基于 LVDM [1] / VideoCrafter1 [2]的结果 (A 相机运动控制 (B 物体运动控制 (C 相机+物体运动控制 (D 与Vide...
-
基于LLaMA Factory，单卡3小时训练专属大模型 Agent
大家好，今天给大家带来一篇 Agent 微调实战文章 Agent（智能体）是当今 LLM（大模型）应用的热门话题 [1]，通过任务分解（task planning）、工具调用（tool using）和多智能体协作（multi-agent cooperat...
-
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY 大家好，我是卷了又没卷，薛定谔的卷的AI算法工程师「陈城南」~ 担任某大厂的算法工程师，带来最新的前沿AI知识和工具...
-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
UCLA华人提出全新自我对弈机制！LLM自己训自己，效果碾压GPT-4专家指导
合成数据已经成为了大语言模型进化之路上最重要的一块基石了。 在去年底，有网友扒出前OpenAI首席科学家Ilya曾经在很多场合表示过，LLM的发展不存在数据瓶颈，合成数据可以解决大部分的问题。 图片 英伟达高级科学家Jim Fan在看了最近的一批论文后也...
-
匿名论文提出奇招！增强大模型长文本能力居然还能这么做
一提到提高大模型长文本能力，就想到长度外推或者上下文窗口扩展？ 不行，这些都太费硬件资源了。 来看一个奇妙新解： 和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。 具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“...
-
BiTA：创新AI方法加速大型语言模型生成
近年来，基于transformer架构的大型语言模型（LLMs）已经崭露头角。Chat-GPT和LLaMA-2等模型展示了LLMs参数的迅速增加，从几十亿到数万亿。尽管LLMs是非常强大的生成器，但由于所有参数的计算负载，它们在推理延迟方面存在问题。因此，...
-
DALL-E 系列：AI绘画背后的惊人真相！！【1个离奇内幕、3个意想不到、5大秘密揭示】
DALL-E 系列：AI绘图原理，根据用户给出的描述，生成与描述相匹配的图像 DALL-E 1 dVAE Transformer DALL-E 2 CLIP 先验 prior decoder（image） DALL-E 3...
-
【AIGC-图片生成视频系列-5】I2V-Adapter：一种用于视频扩散模型的通用图像生成视频适配器
目录 一. 项目与贡献概述 二. 方法详解 a. 整体框架图 b. 帧相似性先验 三. 一般化图像生成动画结果 四. 基于个性化 T2I 模型的动画结果 五. 结合ControlNet动画结果 六. 项目论文和代码 七. 个人思考与总结...
-
小红书开源「InstantID」效果炸裂，被Yann LeCun点赞，迅速蹿上Github热榜
最近，有一群来自小红书的 95 后神秘团队，自称 InstantX，搞了个大动作 —— 开源「InstantID」项目。 InstantID 凭借着高质量的图像生成能力，在开源界掀起了一股热潮：不仅获得了众多技术大佬的点赞，更是在 GitHub 热榜上迅...
-
最强开源多模态生成模型MM-Interleaved：首创特征同步器
想象一下，AI 不仅会聊天，还长了「眼睛」，能看懂图片，甚至还会通过画画来表达自己！这意味着，你可以和它们谈天说地，分享图片或视频，它们也同样能用图文并茂的方式回应你。 最近，上海人工智能实验室联合香港中文大学多媒体实验室（MMLab）、清华大学、商汤科...
-
人类和AI的决策协作：决策问题的表述、解释和评价
在人工智能、数据可视化等领域，如何利用信息显示来辅助人类做出更好的决策，是一个重要的研究目标。什么是一个决策问题，以及如何设计一个能够有效评估人类决策的实验，没有一个明确的共识。在这篇文章中，我将为您解读一篇最新的论文，它提出了一个基于统计决策理论和信息...
-
Textual Inversion、DreamBooth、LoRA、InstantID：从低成本进化到零成本实现IP专属的AI绘画模型
2023年7月份国内有一款定制写真AI工具爆火。一款名为妙鸭相机的AI写真小程序，成功在C端消费者群体中出圈，并在微信、微博和小红书等平台迅速走红，小红书上的话题Tag获得了330多万的浏览量，相关微信指数飙升到了1800万以上。 其他能够提供类似功能例...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（一）
论文：https://arxiv.53yu.com/pdf/2302.05543 代码：https://github.com/lllyasviel/ControlNet 得分几个博客完成这个事情的记录了，此篇是第一篇，摘录了一些论文内容。ControlN...
-
AIGC内容分享(四十)：生成式人工智能（AIGC）应用进展浅析
目录 0 引言 1 以ChatGPT为代表的AIGC发展现状 1.1 国外AIGC应用发展现状 1.2 国内AIGC应用发展现状 2 AIGC的技术架构 （1）数据层 （2）算力基础设施层 （3）算法及大模型层 （4）AI...
-
伯克利开源高质量大型机器人操控基准，面对复杂自主操控任务不再犯难
随着人工智能和机器人技术的迅速发展，功能操控（Functional Manipulation）在机器人学中的重要性愈加突出。传统的基准测试已无法满足目前机器人对复杂操控任务的需求，呼吁新的操控基准（Functional Manipulation Ben...
-
南大周志华团队8年力作！「学件」系统解决机器学习复用难题，「模型融合」涌现科研新范式
HuggingFace是目前最火热的机器学习开源社区，汇集30万个不同的机器学习模型，有超过10万个应用可供用户访问和使用。 如果HuggingFace上这30万个模型，可以自由组合，共同完成新的学习任务，那会是一种什么样的画面？ 其实在HuggingF...
-
基于参考物体的AIGC图像生成技术在家居导购领域的应用
本文深入探讨了基于参考物体的人工智能图像生成（AIGC）技术的最新进展。首先概述了该类技术如何发展至今，然后着重分析了两篇重要的相关学术论文。随后，文章针对家居导购领域的特殊应用场景，讨论了运用此项技术时遭遇的挑战和取得的最新效果。...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
无缝衔接Stable Diffusion，一张照片几秒钟就能生成个性化图片-InstantID
最近一段时间基于扩散模型的图像处理方法遍地开花，接下来为大家介绍一种风格化图像的方法InstantID，可以通过仅有一张人脸照片，几秒钟内生成不同风格的人物照片。与传统方法需要多张参考图像和复杂的微调过程不同，InstantID只需一张图像...
-
链世界：一种简单而有效的人类行为Agent模型强化学习框架
强化学习是一种机器学习的方法，它通过让智能体（Agent）与环境交互，从而学习如何选择最优的行动来最大化累积的奖励。强化学习在许多领域都有广泛的应用，例如游戏、机器人、自动驾驶等。强化学习也可以用于干预人类的行为，帮助人类实现他们的长期目标，例如戒烟、减...