-
基于全局的图增强的新闻推荐算法
作者 | 汪昊 审校 | 重楼 新闻App 是人们日常生活中获取信息来源的重要方式。在 2010 年左右，国外比较火的新闻 App 包括 Zite 和 Flipboard 等等，而国内比较火的新闻 App 主要是四大门户。而随着今日头条为代表的新时代新闻...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和...
-
大模型融合！最新「进化算法」全自动组合开源模型，刷榜多项基准测试
人类智慧的基础并不在于单个聪明的个体，而在于集体智慧。 比如说，我们的社会和经济体系就是建立在由具有不同专业和专长的不同个人组成的许多机构的基础上的。 Sakana AI团队相信，人工智能的发展也将遵循类似的集体道路。 人工智能的未来不会是一个单一的、巨...
-
谷歌AI研究人员提出噪声感知训练方法（NAT）用于布局感知语言模型
在文档处理中，特别是在视觉丰富的文档（VRDs）中，高效信息提取(IE 的需求变得越来越关键。VRDs，如发票、水电费单和保险报价，在业务工作流中随处可见，通常以不同的布局和格式呈现类似信息。自动从这些文档中提取相关数据可以显著减少解析所需的手动工作量。然...
-
GitHub突破1000星！上交、清华开源个性化联邦学习算法库PFLlib
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 我们在 GitHub 上开源了一个个性化联邦学习算法仓库（PFLlib），目前已经获得 1K+ 个 Star 和 200+ 个 Fork...
-
值得你花时间看的扩散模型教程，来自普渡大学
想了解更多AIGC的内容： 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 扩散模型（Diffusion Model）是图像生成模型的一种。有别于此前 AI 领域大名鼎鼎的 GAN、VAE 等算法，扩散模型另辟...
-
CVPR 2024录用结果出炉！2719篇论文被接收，录用率23.6%
想了解更多AIGC的内容： 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ CVPR 2024最终录用结果公布了！ 刚刚，CVPR官方发文称，今年共提交了11532份有效论文，2719篇论文被接收，录用率为23...
-
Scaling Law被证伪，谷歌研究人员实锤研究力挺小模型更高效，不局限于特定采样技术！
出品 | 51CTO技术栈（微信号：blog51cto） “模型越大，效果越好”，Scaling Law再次被OpenAI带火了，但谷歌的研究人员的最新研究证伪了这一观点。 在周一发表的一项研究中，谷歌研究院和约翰霍普金斯大学的研究人员对人工智能 (AI...
-
斯坦福团队大模型Octopus v2火了：手机就能运行 准确性超越GPT-4
近日，斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注，其20亿参数的模型一夜下载量超过2k。 这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行，并在准确性和延迟方面表现超越了 GPT-4，同时将上下文长度减少了95%。...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...
-
「有效上下文」提升20倍！DeepMind发布ReadAgent框架
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。 除了上下文窗口...
-
谷歌更新Transformer架构，更节省计算资源！50%性能提升
想了解更多AIGC的内容， 请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 谷歌终于更新了Transformer架构。 最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计...
-
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调
LLaMA Factory+ModelScope实战——使用 Web UI 进行监督微调 文章原始地址：https://onlyar.site/2024/01/14/NLP-LLaMA-Factory-web-tuning/ 引言 大语...
-
OS-Copilot：实现具有自我完善能力的通用计算机智能体
? CSDN 叶庭云：https://yetingyun.blog.csdn.net/ AI 缩小了人类间的知识和技术差距 论文标题：OS-Copilot: Towards Generalist Computer Agents with S...
-
80M参数打平GPT-4！苹果发超强上下文理解模型，聪明版Siri马上就来
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 会读心的Siri想不想要？ 今天，苹果发布了自家的最新模型ReALM，仅需80M参数，就能在上下文理解能力上打平甚至超越GPT-4！...
-
开源大模型AI代理操作系统：像Windos一样，操控AI代理
本文经AIGC开放社区 授权转载，转载请联系出处。 想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新...
-
大模型中常用的注意力机制GQA详解以及Pytorch代码实现
分组查询注意力 (Grouped Query Attention 是一种在大型语言模型中的多查询注意力 (MQA 和多头注意力 (MHA 之间进行插值的方法，它的目标是在保持 MQA 速度的同时实现 MHA 的质量。 这篇文章中，我们将解释GQA的...
-
在线建图与轨迹预测如何紧密结合？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction 论文链接：https://arxiv.org/...
-
ChatGPT也在评审你的顶会投稿，斯坦福新研究捅了马蜂窝，“这下闭环了”
尴了个大尬！ 人们还在嘲讽有人用ChatGPT写论文忘了删掉“狐狸尾巴”，另一边审稿人也被曝出用ChatGPT写同行评论了。 而且，还是来自ICLR、NeurIPS等顶会的那种。 来自斯坦福的学者对一些顶级AI会议（如ICLR、NeurIPS、CoRL...
-
比肩Transformer的Mamba在时间序列上有效吗？
Mamba是最近最火的模型之一，更是被业内认为可以有取代Transformer的潜力。今天介绍的这篇文章，探索了Mamba模型在时间序列预测任务上是有有效。本文首先给大家介绍Mamba的基础原理，再结合这篇文章探索在时间序列预测场景中Mamba是否有效。...
-
每日一看大模型新闻（2024.1.12）首个国产开源MoE大模型来了！性能媲美Llama 2-7B，计算量降低60%；谷歌MIT最新研究证明：高质量数据获取不难，大模型就是归途；为大模型恶补数学
1.产品发布 1.1 Luma AI：推出文生3D模型Genie 1.0 发布日期：2024.1.12 https://twitter.com/LumaLabsAI/status/1744778363330535860?s=20 主要内...
-
扩散模型攻克算法难题，AGI不远了！谷歌大脑找到迷宫最短路径
「扩散模型」也能攻克算法难题？ 图片 一位博士研究人员做了一个有趣的实验，用「离散扩散」寻找用图像表示的迷宫中的最短路径。 图片 作者介绍，每个迷宫都是通过反复添加水平和垂直墙生成的。 其中，起始点和目标点随机选取。 从起点到目标点的最短路径中，随机采样...
-
“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂
大模型长文本能力测试，又有新方法了！ 腾讯MLPD实验室，用全新开源的“数星星”方法替代了传统的“大海捞针”测试。 相比之下，新方法更注重对模型处理长依赖关系能力的考察，对模型的评估更加全面精准。 利用这种方法，研究人员对GPT-4和国内知名的Kimi...
-
上海交大新框架解锁CLIP长文本能力，多模态生成细节拿捏，图像检索能力显著提升
CLIP长文本能力被解锁，图像检索任务表现显著提升！ 一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。 △棕色文本为区分两张图的关键细节 Long-CLIP在保持CLIP原始特征空间的基础上，在图像生成等下游任务中即插...
-
GPT-4单项仅得7.1分，揭露大模型代码能力三大短板，最新基准测试来了
首个AI软件工程师Devin正式亮相，立即引爆了整个技术界。 Devin不仅能够轻松解决编码任务，更可以自主完成软件开发的整个周期——从项目规划到部署，涵盖但不限于构建网站、自主寻找并修复 BUG、训练以及微调AI模型等。 这种 “强到逆天” 的软件开发...
-
比LoRA还快50%的微调方法来了！一张3090性能超越全参调优，UIUC联合LMFlow团队提出LISA
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2...
-
首个基于SSM-Transformer混合架构，开源商业大模型Jamba
3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。 目前，ChatGPT、Stable Difusion 、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长...
-
TOXCL：用于检测和解释隐性有毒言论的统一AI框架
社交媒体上的毒性言论可能会像野火般蔓延，特别是针对个人和边缘化群体。明显的仇恨言论相对容易被发现，但隐含毒性——依赖于刻板印象和编码语言而不是明显的侮辱——提出了更为棘手的挑战。如何训练人工智能系统不仅能够检测到这种隐晦的毒性，还能解释为何它是有害的呢?...
-
Claude 3再次登顶！化学专业一骑绝尘，全面碾压GPT-4
Claude 3的诞生又一次震惊了全世界。 Claude 3 Opus，Claude 3中最智能的模型，在大多数常见的人工智能系统评估基准测试中表现优异，包括本科水平专家知识（MMLU）、研究生水平专家推理（GPQA）、基础数学（GSM8K）等。 图片...
-
谷歌推出”自我发现“框架，极大增强GPT-4等大模型推理能力
随着ChatGPT的出现，大语言模型在生成连贯文本和遵循指令方面获得了巨大技术突破。然后在推理和解决复杂内容方面，面临内容不准确、安全等难题。 谷歌Deepmind和南加州大学的研究人员提出了“SELF-DISCOVER”。这是一种用于大语言模型的通用框架...
-
DifFlow3D：场景流估计新SOTA，扩散模型又下一城！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：DifFlow3D: Toward Robust Uncertainty-Aware Scene Flow Estimation with Iterative Diffusion-Based...
-
TrajectoryNAS：一种用于轨迹预测的神经结构搜索
本文经自动驾驶之心公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2403.11695.pdf 本文介绍了TrajectoryNAS：一种用于轨迹预测的神经结构搜索。自动驾驶系统是一项快速发展的技术，其可以实现...
-
AIGC时代，软件测试智能化到底会怎样？
AI技术在软件测试领域的应用比软件开发早。早在上个世纪七、八十年代，软件测试就开始应用采用遗传算法生成测试数据，到九十年代，其研究和应用逐渐增多，从单元测试、接口测试到GUI的系统测试， 提供自动化的测试用例生成、自动化的测试执行和评估等功能，取得了不少成...
-
超越Sora！AI视频模型StreamingT2V可生成120秒超长视频
近日，UT奥斯丁等机构提出的StreamingT2V技术引发了广泛关注，将AI视频生成推向了新的高度。这项技术突破了以往视频长度的限制，实现了生成高度一致且长度可扩展的视频。 StreamingT2V技术的核心构架包括条件注意力模块（CAM）和外观保持模...
-
400米2分34秒破纪录！伯克利双足机器人「接管」人类
UC伯克利的双足机器人，跑步又破纪录了！ 最近，HYBRID ROBOTICS研究团队的Cassie，给我们来了一段惊艳的表演—— 以2分34秒的成绩，跑完了400米！ 随后，它又在不需要额外训练的情况下，完成了1.4米的跳远。 是的，相信你已经注意到了...
-
GPT-4「荣升」AI顶会同行评审专家？斯坦福最新研究：ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成
LLM在飞速进步的同时，人类也越来越难以区分LLM生成的文本与人工编写的内容，甚至分辨能力与随机器不相上下。 这加大了未经证实的生成文本可以伪装成权威、基于证据的写作的风险。 尽管在个例上难以察觉，但由于LLM的输出趋于一致性，这种趋势可能会放大语料库级...
-
何恺明新作：消除数据集偏差的十年之战
MIT新晋副教授何恺明，新作新鲜出炉： 瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。 该研究为何恺明在Meta期间与刘壮合作完成，他们在论文中指出： 尽管过去十多年里业界为构建更大、更多样化、更全面、偏差更小的数据集做了很多努力，但现代神经...
-
视觉AIGC元年：技术大爆炸！Dalle-3、Sora、Stable Diffusion 3 掀起AIGC新浪潮，究竟有哪些模块值得借鉴！
随着科技的飞速发展，我们迎来了视觉AIGC高光时刻，一个充满无限可能与机遇的新时代。在这个时代里，三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展，引领着AIGC领域的新浪潮。文章首先做相应简要介...
-
文生图的基石CLIP模型的发展综述
CLIP的英文全称是Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里...
-
深度估计SOTA！自动驾驶单目与环视深度的自适应融合
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&个人理解 多视图深度估计在各种基准测试中都取得了较高性能。然而，目前几乎所有的多视图系统都依赖于给定的理想相机姿态，而这在许多现实世界的场景中是不可用的，例如自动驾驶。本工作提出了一...
-
MIT研究员推新AI图片生成框架DMD：AI 单步生成高质量图像 速度快30倍
在当今人工智能时代，计算机可以通过扩散模型生成自己的 “艺术”，逐步向嘈杂的初始状态添加结构，直到清晰的图像或视频出现。 扩散模型突然变得异常受欢迎:输入几个词，即可体验现实与幻想交汇的梦幻景象。在幕后，这涉及一个复杂、耗时的过程，需要算法多次迭代才能完美...
-
符尧大佬一作发文，仅改训练数据，就让LLaMa-2上下文长度扩展20倍！
引言：探索语言模型的长上下文能力 近日，谷歌推出了Gemini Pro 1.5，将上下文窗口长度扩展到100万个tokens，目前领先世界。而其他语言模型也正在不断探索长上下文能力，也就是模型处理和理解超出其训练时所见上下文长度的能力。例如，一个模型可能...
-
12 分钟内部会结束了苹果十年造车梦，转攻 AIGC
1苹果叫停十年造车项目，团队成员有人转岗，有人被裁 据知情人士透露，苹果在一次时长约 12 分钟的内部会议上决定叫停长达十年的电动汽车研发尝试，放弃公司有史以来最具野心的重大项目之一。 知情人士称，苹果公司于本周二在内部放出了上述消息，令参与电车项目的...
-
Stable Diffusion 3 震撼发布，采用Sora同源技术，文字终于不乱码了
Stable Diffusion 3 和 Sora 一样采用了 diffusion transformer 架构。 继 OpenAI 的 Sora 连续一周霸屏后，昨晚，生成式 AI 顶级技术公司 Stability AI 也放了一个大招 ——Sta...
-
学好线性代数，玩转推荐系统
作者 | 汪昊 审校 | 重楼 说到21 世纪互联网的技术，除了 Python / Rust / Go 等一系列新型编程语言的诞生，信息检索技术的蓬勃发展也是一大亮点。互联网上第一个纯技术商业模式就是以谷歌和百度为代表的搜索引擎技术。然而让大家臆想不到的...
-
如何扩展大模型的上下文长度
一、背景 大模型的上下文长度是指我们在使用大模型的时候，给大模型的输入加上输出的字符（Token）总数，这个数字会被限制，如果超过这个长度的字符会被大模型丢弃。目前开源的大模型上下文长度一般不长，比如 Llama 2 只有 4K，Code-Llama 系...
-
优于所有方法！HIMap：端到端矢量化HD地图构建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 矢量化高清（HD）地图构建需要预测地图元素的类别和点坐标（例如道路边界、车道分隔带、人行横道等）。现有技术的方法主要基于点级表示学习，用于回归精确的点坐标。然而，这种pipeline在获得elemen...
-
DECO: 纯卷积Query-Based检测器超越DETR！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 标题：DECO: Query-Based End-to-End Object Detection with ConvNets 论文：https://arxiv.org/pdf/2312.13735...
-
huggingface的diffusers训练stable diffusion记录
代码：https://github.com/huggingface/diffusers/tree/main/examples/text_to_image 2006.11239.pdf (arxiv.org 论文 2006.11239.pdf (ar...
-
ChatGPT参数规模被扒：只有7B
ChatGPT惨遭攻击，参数规模终于被扒出来了—— 很可能只有7B（70亿）。 消息来自南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。 果然，OpenAI不Open，自有别人帮他...