-
Mamba论文为什么没被ICLR接收？AI社区沸腾了
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。 2023年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state s...
-
大模型推理成本排行榜来了：贾扬清公司效率领跑
「大模型的 API 是个亏本买卖吗？」 随着大语言模型技术的逐渐实用化，越来越多的科技公司提出了大模型 API 供开发者们使用。但前有 OpenAI「每天烧掉 70 万美元」，我们也有理由怀疑以大模型为基础的业务到底能不能持续。 本周四，AI 创业公司...
-
强化学习和世界模型中的因果推断
一、世界模型 “世界模型”源于认知科学，在认知科学里面有一个等价的词汇 mental models，也就是心智模型。那么什么是心智模型？在认知科学里有一个假设，认为人在大脑内部会有一个对于真实外在世界的表征，它对于认知这个世界，特别是推理和决策有很关...
-
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一
如你我所知，在大型语言模型（LLM）的运行逻辑中，随着规模大小的增加，语言生成的质量会随着提高。不过，这也导致了推理延迟的增加，从而对实际应用构成了重大挑战。 从系统角度来看，LLM 推理主要受内存限制，主要延迟瓶颈源于加速器的内存带宽而非算术计算。这一...
-
MIT和谷歌提出新AI框架Health-LLM:利用可穿戴传感器数据为健康预测任务调整LLM
近日，MIT和Google的研究人员共同提出了一种名为Health-LLM的新型人工智能框架，旨在将大语言模型（LLMs）应用于健康预测任务，利用可穿戴传感器的数据。该框架的提出标志着健康领域在可穿戴技术和人工智能的交叉点上取得了重大突破。 可穿戴传感器技...
-
业内：过去数月老款AI芯片降价，大模型培训成本降60%
1月24日消息，众所周知，开发大语言模型（LLM）成本高昂。这不仅包括模型本身的研发，还有在云端运行这些模型的费用。以人工智能初创公司Anthropic为例，云端运行模型的成本几乎占了该公司上个月收入的一半以上，这还未算上训练模型的成本。 然而，最近的...
-
DeepSeek 发布全新开源大模型，数学推理能力超越 LLaMA-2
自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。 开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜3＞
3.4 RLHF 结果 3.4.1 基于模型的评估 评估LLMs是一个具有挑战性的开放研究问题。人类评估虽然是黄金标准，但可能会因各种 HCI 考虑因素而变得复杂（Clark 等人，2021；Gehrmann 等人，2023），并且并不总是可扩展的...
-
无需训练实现价值观实时动态对齐：上交开源价值观对齐方法OPO，闭源与开源大模型均适用
随着人工智能技术的发展，以 GPT-4 为代表的大语言模型依靠其强大的能力正在对社会产生深远的影响。与此同时，大模型本身的安全性问题也变得尤为重要。如何确保大语言模型可以和人类的价值、真实的意图相一致，防止模型被滥用、输出有害的信息，这是大模型安全治理的...
-
逆天了！UniVision：BEV检测和Occupancy联合统一框架，双任务SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 最近这几年以视觉为中心的3D感知在自动驾驶中得到了快速发展。尽管3D感知模型在结构和概念上有许多相似之处，但在特征表示、数据格式和目标方面仍存在差距，这对统一高效的3D感知...
-
网络安全人士必知的AI专业术语
随着人工智能的迅猛发展，我们正置身于第四次工业革命的浪潮中。在这个数字化的时代，网络安全成为各行业至关重要的议题。作为网络安全从业人员，不仅需要熟练掌握传统安全领域的知识，更需要深刻理解和运用人工智能，以在风云变幻的网络战场中保护信息资产。人工智能不仅为...
-
ChatGPT 和文心一言两大AI助手的比较
一 背景 ChatGPT是由OpenAI开发的，它可以理解自己生成的内容，并根据输入的上下文进行推理和生成回复。这种自我理解的能力使得ChatGPT在处理复杂对话和问题时具有优势。 然而，ChatGPT的缺点是只能根据预先设定的规则和模板回...
-
AIGC内容分享(四十一)：国内AIGC独角兽冲出几家？
目录 2023年新晋AI独角兽 智谱AI：清华计算机系KEG科研成果 百川智能：原搜狗CEO王小川创业项目 零一万物：李开复筹建的新项目 Minimax：前商汤副总裁创业项目 结尾： 2023年新晋AI独角兽 根据IT桔子数据，截...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
AI视野：百度推视频生成模型UniVG；下一代大模型Llama3正在训练；腾讯推视频模型VideoCrafter2；TikTok测试AI作曲功能
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 1、百度推出视频生...
-
苹果AIM自回归视觉模型验证性能与模型规模有关
苹果公司的研究者通过自回归图像模型（AIM）验证了视觉模型“参数越多性能越强”的规律，进一步证明随着容量或预训练数据量的增加，模型能不断提升性能。AIM能有效利用大量未经整理的图像数据，训练方法和稳定性与最近的大型语言模型(LLM 类似。这一观察结果与之前...
-
ConvNet与Transformer谁更强？Meta评测4个领先视觉模型，LeCun转赞
如何根据特定需求选择视觉模型？ ConvNet/ViT、supervised/CLIP模型，在ImageNet之外的指标上如何相互比较？ 来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。 论文地址：ht...
-
大模型“藏毒”：“后门”触发，猝不及防！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 跟大模型会产生幻觉相比，更可怕的事情来了，最新的一项研究证明：在用户不知情的情况下，最初觉得很得力的大模型助手，将化身“间谍”，产生破坏性代码。 具体来讲，一组研究人员对LL...
-
ReSimAD：如何在没有真实数据的情况下，提升感知模型的泛化性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 自动驾驶车辆传感器层面的域变化是很普遍的现象，例如在不同场景和位置的自动驾驶车辆，处在不同光照、天气条件下的自动驾驶车辆，搭载了不同传感器设备的自动驾驶车辆，上述这些...
-
开源模型新纪录：超越Mixtral 8x7B Instruct的模型来了
从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。...
-
元象开源大模型XVERSE-Long-256K 支持输入25万汉字
元象发布了全球首个上下文窗口长度为256K 的开源大模型 XVERSE-Long-256K，支持输入25万汉字，无条件免费商用。 该模型填补了开源生态空白，与元象之前的大模型组成了高性能全家桶。XVERSE-Long-256K 在评测中表现出色，超越了其他...
-
OpenAI Whisper论文笔记
OpenAI Whisper论文笔记 OpenAI 收集了 68 万小时的有标签的语音数据，通过多任务、多语言的方式训练了一个 seq2seq （语音到文本）的 Transformer 模型，自动语音识别（ASR）能力达到商用水准。本文为李沐老师论文精...
-
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
继第一份大模型对齐技术报告（Secrets of RLHF in Large Language Models Part I）获 NeurIPS 2023 workshop best paper 后，第二份报告强势归来，复旦语言和视觉团队联合推出的第二...
-
【LLM】微调LLM：LoRA 还是全参数？Llama 2 的深入分析
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
AI视野：阿里推ReplaceAnything框架；OpenAI取消军用禁令；Pika推视频画面扩充功能；SD推图生视频插件I2V-Adapter
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ????聚焦开发者 阿里推Rep...
-
LLM AutoEval:AI平台自动评估Google Colab中的LLM
在自然语言处理领域，语言模型的评估对于开发人员推动语言理解和生成的边界至关重要。LLM AutoEval是一款旨在简化和加速语言模型（LLMs）评估过程的工具，专为寻求快速高效评估LLM性能的开发者定制。 LLM AutoEval具有以下关键特点: 1....
-
Stable Diffusion XL（SDXL）核心基础知识
文章目录 一、Stable Diffusion XL基本概念 二、SDXL模型架构上的优化 （一）SDXL的整体架构 （二）VAE （三）U-Net （四）text encoder （五）refiner model 三、SDXL在训练上的技...
-
向量数据库：AIGC时代的必备基础工具
今天分享的AIGC系列深度研究报告：《向量数据库：AIGC时代的必备基础工具》。 （报告出品方：广发证券） 报告共计：47页 点击添加图片描述（最多60个字）编辑 一、向量数据库为 AI 大模型全生命周期管理提质增效 随着AI大模型的...
-
当AI变成“守法公民”，为何用户反而不爱它了
ChatGPT、OpenAI这两个名字无疑是2023年科技圈最为炙手可热的存在，但投入AI大模型赛道的显然远远不止OpenAI一家，例如谷歌有Gemini、Meta有开源的Llama2、亚马逊也有Titan。并且这个赛道目前来看也并非巨头们的狂欢，比如创业...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
大语言模型漏洞缓解指南
虽然大语言模型(LLM 应用正在全球快速普及，但企业对大语言模型的威胁态势仍然缺乏全面了解。面对大语言模型风险的不确定性，企业希望在保障其安全性的基础上加快 应用脚步，用人工智能提升企业核心竞争力，这意味着企业的CISO面临着理解和应对新兴人工智能威胁...
-
新研究：医用AI评估精神分裂新患者治疗效果近乎盲猜
1月12日消息，一项最新研究发现，用于协助医生治疗精神分裂症患者的计算机算法不能很好适应之前开发过程中未见过的新鲜数据。因此这种医用人工智能在评估未曾接触过的患者的治疗效果时，表现十分糟糕。 这些医用工具利用人工智能来发现大数据集中的特征，并预测个体对...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
微软祭出代码大模型WaveCoder！四项代码任务两万个实例数据集，让LLM泛化能力飙升
用高质量数据集进行指令调优，能让大模型性能快速提升。 对此，微软研究团队训练了一个CodeOcean数据集，包含了2万个指令实例的数据集，以及4个通用代码相关任务。 与此同时，研究人员微调了一个代码大模型WaveCoder。 论文地址：https://...
-
AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略
AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议 、使用方法、案例应用(计算能力/代码能力/看图能力等 之详细攻略 解读：在2022年11月横空出世的ChatGPT，打遍天下无敌手的时候，就知道会有这么一天，...
-
20分钟，使用Amazon SageMaker快速搭建属于自己的AIGC应用
真火！ 作为最近一段时间人工智能领域内的顶流之一，AIGC（AI-Generated Content）早已火爆出圈，频登各大互联网平台热搜。 cite: 微软亚洲研究院官方微博 这段时间以来，基于深度学习的内容生成在图像、视频、语音、音乐、...
-
万字长文谈自动驾驶BEV感知
本文经自动驾驶之心公众号授权转载，转载请联系出处。 prologue 这有可能是更的最长的文章系列了，先说为什么，一方面是看到分割大模型对小模型的提升效果需要时间，另一方面是之前对自动驾驶的BEV算法做了很长时间的预研，自己也应该好好梳理一下了。 （很...
-
一个评测模型+10个问题，摸清盘古、通义千问、文心一言、ChatGPT的“家底”！...
数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 毫无疑问，全球已经在进行大模型的军备竞赛了，“有头有脸”的科技巨头都不会缺席。昨天阿里巴巴内测了通义千问，今天华为公布了盘古大模型的最新进展。不久前百度公布了文心一言...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
端到端的自动驾驶会取代Apollo、autoware这类框架吗？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes 作者单位：百度 作者：共一 Jian...
-
突破Pytorch核心点，CNN ！！！
哈喽，我是小壮！ 创建卷积神经网络（CNN），很多初学者不太熟悉，今儿咱们来大概说说，给一个完整的案例进行说明。 CNN 用于图像分类、目标检测、图像生成等任务。它的关键思想是通过卷积层和池化层来自动提取图像的特征，并通过全连接层进行分类。 原理 1.卷...
-
从新手到专家，两天全面掌握GitHub Copilot
随着大型AI模型性能的爆炸式提升，AI辅助编程工具真正从根本上改变了开发者的生产力，并对开发工作整个生命周期产生了深远的影响，这种影响不仅仅体现在开发编码效率的提升，更体现在对团队产研工作流程、开发思路、编码方式的重塑上。而在众多AI辅助编程工具中，微软G...
-
谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5
【新智元导读】谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗?最近，斯坦福和Meta的学者发文为Gemini正名。 Gemini的推理能力，真的比GPT-4弱吗? 此前，谷歌憋出的重磅复仇神器Gemini P...
-
Hyena成下一代Transformer？StripedHyena-7B开源：最高128k输入，训练速度提升50%
最近几年发布的AI模型，如语言、视觉、音频、生物等各种领域的大模型都离不开Transformer架构，但其核心模块「注意力机制」的计算复杂度与「输入序列长度」呈二次方增长趋势，这一特性严重限制了Transformer在长序列下的应用，例如无法一次性处理一...
-
【网安AIGC专题10.19】论文4：大模型（CODEX 、CodeGen 、INCODER ）+自动生成代码评估：改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法
Is Your Code Generated by ChatGPT Really Correct? 写在最前面 主要贡献 这篇论文的创新点，为之后的论文提供了一些的启发 未来研究的方向：改进自动化测试方法、创建测试输入生成器、探索新的评估数...
-
神经网络中的分位数回归和分位数损失
在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测 ”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测 ”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求...
-
LLaMA, ChatGLM, BLOOM的参数高效微调实践
作者：回旋托马斯x（腾讯NLP算法工程师） 项目地址：https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大语言模型的训练分为两个阶段： （1）在海量文本语料上的无监督预训练，学习通用的语义表...
-
九大Pytorch最重要操作！！
今儿咱们聊聊pytorch的事情，今儿总结了九个最重要的pytorch的操作，一定会给你一个总体的概念。 张量创建和基本操作 PyTorch的张量类似于NumPy数组，但它们提供了GPU加速和自动求导的功能。张量的创建可以通过torch.tensor，...
-
SOLAR10.7B大模型屠榜HuggingFace 创新性拼接两个羊驼，高效集成
深度学习领域的新技术近日在HuggingFace的大模型排行榜中崭露头角，由Upstage AI提出的深度扩展方法（DUS）在SOLAR10.7B大模型上取得了令人瞩目的成绩。该技术通过创新性地拼接两个7B羊驼，并采用DUS方法删除中间层次，使得新模型不仅...