-
Mini-Gemini:简单有效的AI框架，增强多模态视觉语言模型
近期，中国香港中文大学和 SmartMore 的研究人员推出了一种名为 Mini-Gemini 的新颖框架，通过增强多模态输入处理来推动 VLMs 的发展。Mini-Gemini 采用了双编码器系统和一种新颖的补丁信息挖掘技术，结合一个特别策划的高质量数据...
-
从零开始的LLaMA-Factory的指令增量微调
大模型相关目录 大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容从0起步，扬帆起航。 大模型应用向开发路径及一点个人思考 大模型应用开发实用开源项目汇总 大模型问答...
-
LLaMA-Factory参数的解答
打开LLaMA-Factory的web页面会有一堆参数 ，但不知道怎么选，选哪个，这个文章详细解读一下，每个参数到底是什么含义这是个人写的参数解读，我并非该领域的人如果那个大佬看到有参数不对请反馈一下，或者有补充的也可以！谢谢（后续该文章可能会持续更新）...
-
AI写作辅写疑似度查看方法：从困惑度到爆发度的探索
大家好，小发猫降重今天来聊聊AI写作辅写疑似度查看方法：从困惑度到爆发度的探索，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： AI写作辅写疑似度查看方法：从困惑度到爆发度的探索 在AI写作的...
-
量产杀器！P-Mapnet：利用低精地图SDMap先验，建图性能暴力提升近20个点！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 在线HD Map生成算法是当前自动驾驶系统摆脱对高精地图依赖的方法之一，现有的算法在远距离范围下的感知表现依然较差。为此，我们提出了P-MapNet，其中的“P”强调我们专注于融合地图先验以...
-
Stable Diffusion 3 来了 —— 充满了巨大的改进
文章目录 什么是Stable Diffusion 3？ Stable Diffusion 3 有哪些新功能？ Stable Diffusion 3 对比 Dall-E 3 和 Gemini 如何获得Stable Diffusion 3 的访问权...
-
详解Latte：去年底上线的全球首个开源文生视频DiT
随着 Sora 的成功发布，视频 DiT 模型得到了大量的关注和讨论。设计稳定的超大规模神经网络一直是视觉生成领域的研究重点。DiT [1] 的成功为图像生成的规模化提供了可能性。 然而，由于视频数据的高度结构化与复杂性，如何将 DiT 扩展到视频生成领...
-
新研究：大语言模型“涌现”能力不令人惊讶也不难预测
3月26日消息，一项新的研究认为，大语言模型性能的显著提升并不令人意外，也并非无法预测，实际上这是由我们衡量人工智能性能的方式所决定的。 两年前，450位研究人员在一个名为超越模仿游戏基准（Beyond the Imitation Game Bench...
-
苹果为了AI，上了谷歌的船
这几天，苹果公司CEO蒂姆·库克现身上海，成了各大社交媒体的焦点事件。 除了和男演员郑恺在上海外滩漫步并品尝传统上海早餐、参加苹果公司在上海的第8家直营店“Apple静安店”的揭幕仪式外，库克还接受了媒体的采访，赞扬了中国地区的苹果供应链。 最受人关注的是...
-
UniPAD：一种通用的自动驾驶预训练模式
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 UniPAD研究了一个关键问题：如何有效地利用大量未标记的3D点云数据进行自监督学习，以增强其在3D目标检测和语义分割等下游任务中的应用效率。这个问题之所以重要，是...
-
Nature重磅：AI击败最先进全球洪水预警系统，提前7天预测河流洪水，每年挽救数千人生命
洪水是最常见的自然灾害类型，全球有近 15 亿人（约占世界人口的 19%）直接面临严重洪水事件的巨大风险。洪水还造成巨大的物质损失，每年造成全球经济损失约 500 亿美元。 近年来，人类造成的气候变化进一步增加了一些地区的洪水频率。然而，目前的预报方法主...
-
百度5款大模型上新，更小更便宜！还可1分钟零代码打造Agent应用
零代码1分钟，构建一个Agent应用。 做一个“英语作文批改小帮手”应用，只需在AppBuilder中输入应用名称或者希望开发的功能，平台就能自动生成应用。 再通过简单的调整角色指令、添加所需工作组件，即可生成应用。 发布后马上可使用，从创建到分发，...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
DualBEV：大幅超越BEVFormer、BEVDet4D，开卷！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文探讨了在自动驾驶中，从不同视角（如透视图和鸟瞰图）准确检测物体的问题，特别是如何有效地从透视图（PV）到鸟瞰图（BEV）空间转换特征，这一转换是通过视觉转换（VT）模块实施的。现有的方法大致...
-
英伟达发布最强AI加速卡 大语言模型性能比H100提升30倍
英伟达在 GTC 开发者大会上发布了最强 AI 加速卡 Blackwell GB200，计划今年晚些时候发货。 GB200采用新一代 AI 图形处理器架构 Blackwell，其 AI 性能可达20petaflops，比之前的 H100提升了5倍。每个 B...
-
ChatGPT参数规模被扒：只有7B
ChatGPT惨遭攻击，参数规模终于被扒出来了—— 很可能只有7B（70亿）。 消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。 果然，OpenAI不Open，自有别人帮他...
-
如何把大量物理知识塞给AI？EIT和北大团队提出「规则重要性」概念
深度学习模型因其能够从大量数据中学习潜在关系的能力而「彻底改变了科学研究领域」。然而，纯粹依赖数据驱动的模型逐渐暴露出其局限性，如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。 例如，美国OpenAI公司开发的文本到视频模型Sora因深刻理解事物...
-
新智元 | Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
本文来源公众号“新智元”，仅用于学术分享，侵权删，干货满满。 原文链接：Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？ 【新智元导读】Stability AI放出了号称能暴...
-
自适应剪枝让多模态大模型加速2-3倍，哈工大等推出SmartTrim
基于 Transformer 结构的视觉语言大模型（VLM）在各种下游的视觉语言任务上取得了巨大成功，但由于其较长的输入序列和较多的参数，导致其相应的计算开销地提升，阻碍了在实际环境中进一步部署。为了追求更为高效的推理速度，前人提出了一些针对 VLM 的...
-
WhisperKit官网体验入口 iOS和macOS语音AI识别工具包下载地址
WhisperKit是一个基于Whisper项目的推理工具包，由Argmax公司推出。它允许在iOS和macOS应用程序中进行语音识别和转录。该项目的目标是收集开发者反馈，并在几周内发布一个稳定的候选版本，以加速设备上推理的生产化。 点击前往Whispe...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际，Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transf...
-
1.3ms耗时！清华最新开源移动端神经网络架构 RepViT
论文地址：https://arxiv.org/abs/2307.09283 代码地址：https://github.com/THU-MIG/RepViT 可以看出，RepViT 相比于其它主流的移动端 ViT 架构确实时很优异。接下来让我们来看下本工...
-
ChatGPT每年电费2亿？！日耗电量≈1.7万个家庭，网友：挺值！
ChatGPT居然这么费电？ 最新的等式出现了： ChatGPT日耗电量≈1.7万家庭日耗电量。 什么概念？一年光电费就要花2亿！ 美国普通家庭平均单日用电29千瓦时，而ChatGPT的单日用电量超过了50万千瓦时。 （美国商业用电一度约为0.147美元...
-
最新综述！扩散模型与图像编辑的爱恨情仇
本文经自动驾驶之心公众号授权转载，转载请联系出处。 针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的be...
-
ADMap：抗干扰在线高精地图新思路
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 大家好，很开心能够受邀来到自动驾驶之心分享我们的在线重建矢量化高精度地图的抗扰动方法ADMap。我们的代码已经发布在https://github.com/hht199...
-
消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强
李开复旗下AI公司零一万物，又一位大模型选手登场： 90亿参数Yi-9B。 它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。 在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、De...
-
中科院等万字详解：最前沿图像扩散模型综述
针对图像编辑中的扩散模型，中科院联合Adobe和苹果公司的研究人员发布了一篇重磅综述。 全文长达26页，共1.5万余词，涵盖297篇文献，全面研究了图像编辑的各种前沿方法。 同时，作者还提出了全新的benchmark，为研究者提供了便捷的学习参考工具。...
-
Stable Diffusion 3论文终于发布，架构细节大揭秘，对复现Sora有帮助？
Stable Diffusion 3 的论文终于来了！ 这个模型于两周前发布，采用了与 Sora 相同的 DiT（Diffusion Transformer）架构，一经发布就引起了不小的轰动。 与之前的版本相比，Stable Diffusion 3 生成...
-
Stable Diffusion 3技术报告流出，Sora构架再立大功！生图圈开源暴打Midjourney和DALL·E 3？
Stability AI在发布了Stable Diffusion 3之后，今天公布了详细的技术报告。 论文深入分析了Stable Diffusion 3的核心技术——改进版的Diffusion模型和一个基于DiT的文生图全新架构！ 报告地址： http...
-
Stable Diffusion 3 发布及其重大改进
1. 引言 就在 OpenAI 发布可以生成令人瞠目的视频的 Sora 和谷歌披露支持多达 150 万个Token上下文的 Gemini 1.5 的几天后，Stability AI 最近展示了 Stable Diffusion 3 的预览版。 闲话少...
-
逆天UniVision：BEV检测和Occ联合统一框架，双SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
一文搞懂：AI、机器学习与深度学习的联系与区别
在当今科技日新月异的浪潮中，人工智能（Artificial Intelligence, AI）、机器学习（Machine Learning, ML）与深度学习（Deep Learning, DL）如同璀璨星辰，引领着信息技术的新浪潮。这三个词汇频繁出现在...
-
知名AI研究者深挖谷歌Gemma：参数不止70亿，设计原则很独特
就在几天前，开源大模型领域迎来了重磅新玩家：谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 谷歌发布了包含两种权重规模的模型：Gemma 2B 和 Gemma...
-
大模型也有“漂移（Drift）”现象？应引起AI应用开发者警惕
熟悉数据中心机器学习项目开发的读者应该知道，数据漂移和概念漂移是导致机器学习模型效果衰退的一个常见原因。漂移产生的关键原因是因为模型会随着时间而衰退，因此为了对抗这样的问题就必须要定期优化训练方案及定期重训模型。 那么大模型会不会有“漂移”现象呢，答案是...
-
马斯克震怒：微软拿Windows给AI收集数据，不注册不给用
马斯克发的一条 X 动态，让微软 Windows 站上了风口浪尖。 事情的起因是这样的： 马斯克买了一台新的笔记本电脑，他发现：「除非我创建一个微软账户，否则它不让我使用，这意味着要让他们的人工智能访问我的电脑！真是一团糟。以前有一个选项可以跳过登录...
-
机器学习如何提高欺诈预防能力
在线欺诈是许多国家的严重问题，存在网络钓鱼攻击、身份盗窃和假冒电子商务网站等各种诈骗行为。一份报告显示，很大一部分欺诈交易发生在晚上10点至凌晨4点之间，其中60岁以上的信用卡持有者是主要受害者。 机器学习有助于预防欺诈，使组织能够实时检测和防止可疑活...
-
VideoPrism官网体验入口 AI视频理解编码器使用介绍
VideoPrism是一个通用的视频编码模型，可在各种视频理解任务上取得领先的性能，包括分类、定位、检索、字幕生成和问答等。其创新点在于预训练的数据集非常大且多样，包含 3600 万高质量的视频-文本对，以及5. 82 亿带有嘈杂文本的视频剪辑。预训练采用...
-
人工智能、机器学习、深度学习，到底是个啥？
说到近些年的火热名词，“人工智能”必须榜上有名。随着去年ChatGPT爆火出圈，“AI（Artificial Intelligence，人工智能）”屡次霸屏热搜榜，并被英国词典出版商柯林斯评为2023年的年度词。 除了“人工智能”，我们还经常听到“机器学...
-
补齐Transformer规划短板，田渊栋团队的Searchformer火了
最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。 尽管有如此成功，但基于 Transformer 的架构和 LLM 依然难...
-
目标检测新SOTA：YOLOv9问世，新架构让传统卷积重焕生机
继 2023 年 1 月 YOLOv8 正式发布一年多以后，YOLOv9 终于来了！ 我们知道，YOLO 是一种基于图像全局信息进行预测的目标检测系统。自 2015 年 Joseph Redmon、Ali Farhadi 等人提出初代模型以来，领域内的研...
-
【AIGC】Stable Diffusion之模型微调工具
推荐一款好用的模型微调工具，cybertron furnace 是一个lora训练整合包，提供训练 lora 模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本，支持人物、二次元、画风、自定义lora的训练，以简化用户训练 lora 模型...
-
【AIGC】警惕大模型的原创性稀释
目录 一、学习素材重复引用的隐患 二、涉及到的问题 三、缓解的办法 四、进一步的技术干预 味同嚼蜡。 如果大模型的学习素材，反复被使用，拉出来又吃回去，如此往复，会怎么样？ 我在前面已经讨论过了，有大模型A接了大模型B，来训练自己的数据...
-
Gemini 1.5实测：我看Sora一眼假；还有更多惊艳功能
谷歌の“反击”来了！ Gemini被Sora抢走的风头，现在有抢回来的势头了。 在最新实测中，Gemini 1.5能分析Sora视频是否AI生成。 是直接给出当中关键因素的那种。 比如这个经典的猫猫视频，Gemini 1.5直言： 它的眼睛和毛都看起来都...
-
逆天了！UniVision：BEV检测和Occ联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
【AIGC】大语言模型
大型语言模型，也叫大语言模型、大模型（Large Language Model，LLM；Large Language Models，LLMs） 什么是大型语言模型 大型语言模型（LLM）是指具有数千亿（甚至更多）参数的语言模型，它们是通过在大规模文本数...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
一图揽尽全球LLM崛起之路；LLM概念速查清单；DALL·E提示词红宝书·在线版；fast.ai新课带你从零实现Stable Diffusion | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visual...
-
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
3 评价结果 3.1 Spider 数据集 表 2 列出了各种提示策略和模型组合的执行准确性 (EX 和测试套件 (TS 的准确性。我们的主要发现是： 开源模型在 Spider 数据集上遇到了困难：尽管参数数量和模型性能之间存在正相关关系...
-
【AIGC】Stable Diffusion的采样器入门
在 Stable Diffusion 中，采样器（Sampler）是指用于生成图像的一种技术或方法，它决定了模型如何从潜在空间中抽样并生成图像。采样器在生成图像的过程中起着重要作用，影响着生成图像的多样性、质量和创造性。以下是对 Stable Diffus...