-
目标检测新SOTA：YOLOv9问世，新架构让传统卷积重焕生机
继 2023 年 1 月 YOLOv8 正式发布一年多以后，YOLOv9 终于来了！ 我们知道，YOLO 是一种基于图像全局信息进行预测的目标检测系统。自 2015 年 Joseph Redmon、Ali Farhadi 等人提出初代模型以来，领域内的研...
-
【AIGC】Stable Diffusion之模型微调工具
推荐一款好用的模型微调工具，cybertron furnace 是一个lora训练整合包，提供训练 lora 模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本，支持人物、二次元、画风、自定义lora的训练，以简化用户训练 lora 模型...
-
【AIGC】警惕大模型的原创性稀释
目录 一、学习素材重复引用的隐患 二、涉及到的问题 三、缓解的办法 四、进一步的技术干预 味同嚼蜡。 如果大模型的学习素材，反复被使用，拉出来又吃回去，如此往复，会怎么样？ 我在前面已经讨论过了，有大模型A接了大模型B，来训练自己的数据...
-
Gemini 1.5实测：我看Sora一眼假；还有更多惊艳功能
谷歌の“反击”来了！ Gemini被Sora抢走的风头，现在有抢回来的势头了。 在最新实测中，Gemini 1.5能分析Sora视频是否AI生成。 是直接给出当中关键因素的那种。 比如这个经典的猫猫视频，Gemini 1.5直言： 它的眼睛和毛都看起来都...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
【AIGC】大语言模型
大型语言模型，也叫大语言模型、大模型（Large Language Model，LLM；Large Language Models，LLMs） 什么是大型语言模型 大型语言模型（LLM）是指具有数千亿（甚至更多）参数的语言模型，它们是通过在大规模文本数...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
一图揽尽全球LLM崛起之路；LLM概念速查清单；DALL·E提示词红宝书·在线版；fast.ai新课带你从零实现Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visual...
-
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
3 评价结果 3.1 Spider 数据集 表 2 列出了各种提示策略和模型组合的执行准确性 (EX 和测试套件 (TS 的准确性。我们的主要发现是： 开源模型在 Spider 数据集上遇到了困难：尽管参数数量和模型性能之间存在正相关关系...
-
【AIGC】Stable Diffusion的采样器入门
在 Stable Diffusion 中，采样器（Sampler）是指用于生成图像的一种技术或方法，它决定了模型如何从潜在空间中抽样并生成图像。采样器在生成图像的过程中起着重要作用，影响着生成图像的多样性、质量和创造性。以下是对 Stable Diffus...
-
微软开源 SliceGPT:大模型体量压缩25%左右，性能保持不变
微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT，该技术可以极限压缩大模型的权重矩阵，将模型体量压缩25% 左右，同时保持性能不变。实验数据显示，在保持零样本任务性能的情况下，SliceGPT 成功应用于多个大型模型，如 LLAMA-270B...
-
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
论文地址：https://arxiv.org/pdf/2307.09288.pdfd 代码地址：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model...
-
llama/llama2论文解读
llama 摘要 llama在约1.4T的token上，训练出参数量7B到65B的模型，其模型规模如下 在仅使用开源数据集的情况下，llama-13B在多数benchmarks上与GPT-3效果相当；llama-65B也与最好的模型（Chin...
-
通义千问团队发布Qwen1.5 聊天模型性能大幅提升
在近期几个月的深入探索之后，通义千问团队终于迎来了其开源系列Qwen的下一个重要版本——Qwen1.5。 Qwen1.5的亮点之一是其丰富的模型系列，涵盖了从0.5B到72B的六种不同大小的基础和聊天模型。此外，团队还开源了包括Int4和Int8的GPTQ...
-
AI视野：通义千问发布Qwen1.5；背景分割开源模型RMBG v1.4来了；OpenAI 为 DALL-E3添加新水印；苹果图片项目MGIE上线试玩
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 通义千问团队发布...
-
AIGC知识速递——Google的Bert模型是如何fine-tuning的？
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 选择合适的预训练模型： 从预训练的BERT模型开始，例如Google 提供的BERT-base 或 BERT-large。这些模型已经...
-
「天工2.0」MoE大模型发布
2月6日，昆仑万维正式发布新版MoE大语言模型「天工2.0」与新版「天工AI智能助手」APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载「天工AI智能助手」APP，体验昆仑万维「天...
-
两亿参数时序模型替代LLM？谷歌突破性研究被批「犯新手错误」
最近，谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。 这篇论文的标题是「A decoder-only foundation model for time-series forecasting（用于时间序列预测的仅解码器基础模型）」。 简而言之，...
-
苹果研究团队揭示WRAP技术：用合成数据进行预训练大模型 成本低准确性高
近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。 然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原...
-
图感知对比学习提升多变量时间序列分类效果
今天给大家介绍一篇AAAI 2024中，由新加坡科技研究局（A*STAR）和新加坡南洋理工大学联合发表的时间序列分类工作，通过图感知对比学习改善多变量时间序列分类，取得了非常显著的效果提升。 图片 论文标题：Graph-Aware Contrasting...
-
不分割成token，直接从字节中高效学习，Mamba原来还能这样用
在定义语言模型时，通常会使用一种基本分词方法，把句子分为词（word）、子词（subword）或字符（character）。其中，子词分词法一直是最受欢迎的选择，因为它在训练效率和处理词汇表外单词的能力之间实现了自然的折中。然而，一些研究指出了子词分词法...
-
一文搞懂使用 Arthur Bench 进行 LLM 评估
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来，随着大型语言模型(LLM 的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领...
-
打破MoE训练效率与性能瓶颈，华为盘古稀疏大模型全新架构LocMoE出炉
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数...
-
开源版GPTs人人免费用！Hugging Face发布定制个人助手，点两下轻松创建
去年，OpenAI发布GPTs之后，短短几个月，全网诞生了300万+个GPT。 而现在，「开源低配版」的GPTs来了！ 最近，世界最大的开源社区Hugging Face推出了开源、可定制的AI 助手——Hugging Chat Assistants。 图...
-
像人类一样在批评中学习成长，1317条评语让LLaMA2胜率飙升30倍
现有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。就像审稿意见不仅仅是一个分数，还包...
-
击败OpenAI，权重、数据、代码全开源，能完美复现的嵌入模型Nomic Embed来了
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。 我们知道，嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使...
-
LLaMA、Baichuan、ChatGLM、Qwen、天工等大模型对比
12.10更新：Qwen技术报告核心解读 Baichuan Baichuan 2: Open Large-scale Language Models 数据处理：数据频率和质量，使用聚类和去重方法，基于LSH和dense embedding方...
-
大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」
大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题： 1） 预训练模型的...
-
年龄两岁，教龄一年半：婴儿AI训练师登上Science
在公开采访中，图灵奖得主 Yann LeCun 多次提到，现在的 AI 模型和人类婴儿相比，学习效率实在是太低了。那么，如果让一个 AI 模型去学习婴儿头戴摄像头拍到的东西，它能学到什么？ 最近，Science 杂志上的一篇论文进行了初步尝试。研究发现，...
-
华科大发布多模态大模型新基准 覆盖五大任务
近期，华中科技大学等机构发布了一项关于多模态大模型（LMMs）的全面评估新基准，旨在解决多模态大模型性能评估的问题。这项研究涉及了14个主流多模态大模型，包括谷歌Gemini、OpenAI GPT-4V等，覆盖了五大任务、27个数据集。然而，由于多模态大模...
-
UCLA华人提出全新自我对弈机制！LLM自己训自己，效果碾压GPT-4专家指导
合成数据已经成为了大语言模型进化之路上最重要的一块基石了。 在去年底，有网友扒出前OpenAI首席科学家Ilya曾经在很多场合表示过，LLM的发展不存在数据瓶颈，合成数据可以解决大部分的问题。 图片 英伟达高级科学家Jim Fan在看了最近的一批论文后也...
-
云原生场景下，AIGC 模型服务的工程挑战和应对
“成本”、“性能”和 “效率”正在成为影响大模型生产和应用的三个核心因素，也是企业基础设施在面临生产、使用大模型时的全新挑战。AI 领域的快速发展不仅需要算法的突破，也需要工程的创新。 01 大模型推理对基础设施带来更多挑战 首先，AI 商业化的时代，...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
南大周志华团队8年力作！「学件」系统解决机器学习复用难题，「模型融合」涌现科研新范式
HuggingFace是目前最火热的机器学习开源社区，汇集30万个不同的机器学习模型，有超过10万个应用可供用户访问和使用。 如果HuggingFace上这30万个模型，可以自由组合，共同完成新的学习任务，那会是一种什么样的画面？ 其实在HuggingF...
-
讯飞星火V3.5整体接近GPT-4 Turbo！首个13B开源大模型发布，深度适配国产算力
【新智元导读】首个基于全国产化算力平台「飞星一号」的大模型，正式开源! 1月26日，美国商务部长雷蒙多表示，拜登政府正在尽全力阻止中国获得训练AI模型所需的算力资源。 美国的云计算公司，都被要求确定是否有外国实体正在访问美国数据中心以训练AI模型。 雷蒙多...
-
【探索科技 感知未来】文心一言大模型
【探索科技 感知未来】文心大模型 ?本文介绍 文心一言大模型是由中国科技巨头百度公司研发的一款大规模语言模型，其基于先进的深度学习技术和海量数据训练而成。这款大模型具备强大的自然语言处理能力，可以理解并生成自然语言，为用户提供自然、流畅的语言交...
-
准确率不足20%，GPT-4V/Gemini竟看不懂漫画！首个图像序列基准测试开源
OpenAI的GPT-4V和谷歌最新的Gemini多模态大语言模型一经推出就得到业界和学界的热切关注: 一系列工作都从多角度展示了这些多模态大语言模型对视频的理解能力。人们似乎相信我们离通用人工智能artificial general intellige...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
Llama-2+Mistral+MPT=? 融合多个异构大模型显奇效
随着 LLaMA、Mistral 等大语言模型的成功，各家大厂和初创公司都纷纷创建自己的大语言模型。但从头训练新的大语言模型所需要的成本十分高昂，且新旧模型之间可能存在能力的冗余。 近日，中山大学和腾讯 AI Lab 的研究人员提出了 FuseLLM，用...
-
微软开发新型大模型压缩方法SliceGPT
SliceGPT是微软开发的一种新型的大语言模型压缩方法。通过SLICE GPT，可以在保持99%，99%，和90%零样本任务性能的同时，将LLAMA2-70B、OPT66B和Phi-2模型分别去除高达25%的模型参数（包括嵌入）。 这意味着使用SLICE...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
GPT-4准确率最高飙升64%！斯坦福OpenAI重磅研究：全新Meta-Prompting方法让LLM当老板
当你让大模型写一首「莎士比亚十四行诗」，并以严格的韵律「ABAB CDCD EFEF GG」执行。 同时，诗中还要包含提供的3个词。 对于这么高难度的创作题，LLM在收到指令后，并不一定能够按要求做出这首诗。 正所谓，人各有所长，LLM也是如此，仅凭单...
-
过去两周，六个最有可能改变AI进程的发布！
编译 ｜言征 过去两周，新的人工智能更新不断涌现，异常疯狂。我们决定整理最近发布的六大框架和模型。 1、ActAnywhere：主题感知视频背景生成 图片 Adobe Research和斯坦福大学推出了Act Anywhere，这是一种生成模型，解决了电...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
18LLM4SE革命性技术揭秘：大型语言模型LLM在软件工程SE领域的全景解析与未来展望 - 探索LLM的多维应用、优化策略与软件管理新视角【网安AIGC专题11.15】作者汇报 综述
Large Language Models for Software Engineering: A Systematic Literature Review 写在最前面 论文名片 课堂讨论 RQ1部分：LLMs的选择和优化 RQ2部分：LLM...
-
多模态大模型，阿里通义千问能和GPT-4V掰手腕了
通义千问的图像推理能力，最近有了大幅提升。 2024年，大模型领域要卷什么? 如果没有思路的话，不妨看看各家大厂都在押注什么方向。 最近一段时间，先是 OpenAI 推出 GPT-4V，让大模型拥有了前所未有的图像语义理解能力。 谷歌随后跟上，发布的 G...
-
推翻Transformer奠基之作疑被拒收，ICLR评审遭质疑！网友大呼黑幕，LeCun自曝类似经历
去年12月，CMU和普林斯顿的2位研究者发布了Mamba架构，瞬间引起AI社区震动！ 结果，这篇被众人看好有望「颠覆Transformer霸权」的论文，今天竟曝出疑似被顶会拒收？！ 今早，康奈尔大学副教授Sasha Rush最先发现，这篇有望成为奠基之作...
-
GPT-4不偷懒了！OpenAI连甩五个大模型，价格最低打两折
OpenAI深夜更新！一口气连甩五个大模型： 新的GPT-4 Turbo预览模型 新的GPT-3.5 Turbo型号 新的文本审核模型 两种新文本嵌入模型 实打实地来了个加量又减价，甚至有模型直接来了个骨折价——降到了原来的五分之一。 开发者狂喜！...
-
生成式人工智能中的BYOK（BringYourOwnKey）是一把双刃剑
原文作者 | Emmanuel Ajala 自带密钥（BYOK）——一个保证可定制和可控的概念在不断发展的人工智能（AI）世界中脱颖而出。 虽然BYOK经常在云计算和安全领域讨论，但本文深入将探讨其在生成式人工智能领域的应用。 与开发人员使用算法的...