-
拯救被「掰弯」的GPT-4!西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日,西交微软北大联合提出信息密集型训练大法,使用纯数据驱动的方式,矫正LLM训练过程产生的偏见,在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示,它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失(...
-
大模型进入免费时代!百度文心大模型宣布两大主力模型免费用
快科技5月21日消息,今日,百度智能云宣布文心大模型的两款主力模型ENIRE Speed、ENIRE Lite全面免费,即刻生效。 这两款大模型今年3月发布,均支持8K和128k上下文长度。 据了解,ERNIE Lite是百度自研的轻量级大语言模型,兼顾优...
-
牛津大学最新 | 近400篇总结!畅谈大语言模型与三维世界最新综述
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 随着大型语言模型(LLM)的发展,它们与3D空间数据(3D LLM)之间的集成取得了快速进展,为理解物理空间和与物理空间交互提供了前所未有的能力。本文全面概述了LLM...
-
谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍
今年 2 月,谷歌上线了多模态大模型 Gemini1.5,通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文,更强推理能力,可以更好地处理跨模态内容。 本周五,Google DeepMind 正式发布了 Gemini 1.5...
-
谷歌数学版Gemini解开奥赛难题,堪比人类数学家!
四个月的迭代,让Gemini 1.5 Pro成为了全球最强的LLM(几乎)。 谷歌I/O发布会上,劈柴宣布了Gemini 1.5 Pro一系列升级,包括支持更长上下文200k,超过35种语言。 与此同时,新成员Gemini 1.5 Flash推出,设计...
-
时隔一年Falcon回归!110亿参数5.5万亿token,性能超越Llama 3
这几天,全世界的目光仿佛都被OpenAI发布的GPT-4o所吸引,与此同时,OpenAI的挑战者们也在同步创造历史。 就在5月14日,阿布扎比先进技术研究委员会(ATRC)下属的技术创新研究所(TII),发布了新一代的Falcon 2模型。 Falco...
-
GPT-4o恩怨开局,Google再次躺枪
要说全世界戏最多的AI,非OpenAI莫属。 这家公司简直就是热搜制造机,刚推出新产品,就送走老领导,刚和苹果结盟,就逼跌谷歌股价;连OpenAI高管的一个离职动态,都能引发网上的OpenAI离职潮。 短短几天时间,以OpenAI为中心,接连引发地震级别的...
-
国产大模型的价格已经卷出网约车大战和百亿补贴的味儿了
登录就送500w tokens! 1 块钱 100w tokens!一降再降!!仅需0. 0008 元/千tokens! 没错,互联网价格战熟悉的“味”,已经悄无声息的打到了大模型的战场。 技术狂飙了一年,大模型公司们早就按捺不住要搅弄商业风云的心, 5...
-
GPT-4o成为全领域SOTA!基准测试远超Gemini和Claude,多模态功能远超GPT-4
OpenAI在发布会上官宣GPT-4o之后,各路大神也开始了对这个新模型的测评,结果就是,GPT-4o在多项基准测试上都展现了SOTA的实力。 别家发布会都在画饼,OpanAI却总能开出一种「欲扬先抑」的效果,惊喜全在发布会之后。 基准测试结果 首先...
-
单次支持38万字输入!腾讯混元推出256k长文模型,通过腾讯云向企业和个人开发者开放
AI大模型技术正成为推动高质生产力发展的关键力量,在与千行百业的融合中发挥着重要作用。腾讯混元大模型通过采用混合专家模型 (MoE 结构,已将模型扩展至万亿级参数规模,增加“脑”容量提升预测性能的同时,推动了推理成本下降。作为通用模型,腾讯混元在中文表...
-
GPT-4o再秀神操作,“复现”OpenAI总裁讲课,网友当真了
OpenAI总裁兼联合创始人Greg再次大秀GPT-4o操作,结果网友直接缅怀DALL-E。 图片 直接看效果。 图片 文本拼写达到惊人的一致!手部细节、光照全都有,甚至后背上的Logo也完全正确。 有网友表示:恍惚间还以为真的是本人在讲课。 图片 也有...
-
知识图与大型语言模型的协同作用
从非结构化文本中提取有价值的见解是金融行业的关键应用。然而,这项任务往往超出了简单的数据提取,需要高级推理能力。 一个典型的例子是确定信贷协议中的到期日,这通常涉及破译一个复杂的指令,如“到期日应在生效日期三周年之前的最后一个工作日”。这种级别的复杂推...
-
Anthropic任命Instagram联合创始人为首席产品官,拓展企业生成式AI服务
生成式 AI 创业公司 Anthropic 最近聘请了 Instagram 联合创始人兼前首席技术官 Mike Krieger 担任首席产品官。对于 Anthropic 来说,聘请 Krieger 是一个重要的举措,因该公司最近推出了 Claude 团队订...
-
GPT-4o成全球网友新玩具,秒秒钟纸质原型转录初始HTML,网友:谷歌你是一点流量摊不上啊
好啊,不愧是OpenAI最新旗舰,打开各个社交软件,GPT-4o的上手测试都唰唰唰往我首页推。 请!看! 这,就是用上GPT-4o,花不到30s时间,通过单个prompt把一个电子表格中的内容生成了完整的图表和统计分析。 在过去,在Excel里做这玩意儿...
-
大模型真要取代程序员了?最危险的岗位是......
如今,随着大模型在编程、代码生成、自动化测试等领域展现出越来越强大的能力,一个引人深思的问题浮现出来:大模型会不会最终取代程序员的工作? 有些人认为,世界上本就没有哪项工作是绝对安全的,机器取代人工本就是迟早的事。从 GitHub Copilot...
-
2024春季火山引擎FORCE原动力大会总结 字节豆包9大模型详细介绍
在2024年春季火山引擎FORCE原动力大会上,字节跳动隆重推出了自主研发的“豆包大模型”系列,标志着该公司在人工智能领域的深厚积累和创新能力。这一系列大模型涵盖了豆包通用模型Pro、lite,以及角色扮演模型、语音合成模型、声音复刻模型、语音识别模型、文...
-
AI日报:谷歌终极杀器硬刚GPT-4o、Sora;字节推出豆包大模型“全家桶”;阿里再推AI虚拟试衣神器;腾讯开源混元文生图大模型
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。 1、谷歌急了,终极杀器对打GPT-4o 视频模型Veo硬刚Sora 谷歌近日发布了一系列强大的AI工具,...
-
“全家桶”战士归来,谷歌自我革命!
编辑 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 5月与6月,旧金山硅谷各大新贵旧王正在激烈角逐,主战场无疑则是AI。 就在昨天凌晨GPT-4o发布的24小时后,Google I/O大会也交卷了。 有意思的是,谷歌掌舵人皮查伊,好...
-
Agents需要一个代码解释器
作者 | Vasek Mlejnsky 编译 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 构建人工智能代理很难。你将与幻觉作斗争,让agents智商不掉线,并引导他们使用正确的工具。 不过,方法也不难,其中一种就是赋予代理代码执行...
-
谷歌推出新的 AI 模型 LearnLM,专注于教育领域
谷歌发布了它的新 AI 模型 LearnLM 将帮助学生解决作业问题。 LearnLM 是基于谷歌大型语言模型 Gemini 的一系列 AI 模型,旨在成为各个学科的专家,以不同的方式找到展示例子(如照片或视频),在学习过程中辅导学生,并激发学习的兴趣。谷...
-
谷歌 I/O开发者大会汇总:AI模型全面更新 几乎覆盖所有生成模型类型
在昨晚的Google I/O发布会上,Google宣布了一系列AI模型的更新,涵盖了从文本到视觉和音乐的多个领域: Gemini1.5Pro:支持200万上下文,针对翻译、编码、推理等关键用例进行了质量改进,但未发布测试结果。 Gemini Flash:针...
-
谷歌反击:Project Astra正面硬刚GPT-4o、Veo对抗Sora、新版Gemini变革搜索
通用的 AI,能够真正日常用的 AI,不做成这样现在都不好意思开发布会了。 5 月 15 日凌晨,一年一度的「科技界春晚」Google I/O 开发者大会正式开幕。长达 110 分钟的主 Keynote 提到了几次人工智能?谷歌自己统计了一下: 是的,...
-
Llama-3的竞争对手来了——可运行在iPhone上的小体量高性能LLM模型Phi-3
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 熟悉我的文章的读者可能还记得我以前报道《课本就是你所需要的一切》(https://medium.com/@mgunton7/th...
-
谷歌正式发布Gemini 1.5 Flash大模型:轻量化、响应速度极快
快科技5月15日消息,今天凌晨,谷歌正式召开了I/O大会,宣布谷歌已全面进入Gemini时代。 在一年前的I/O大会上,谷歌才首次发布Gemini大模型,而今年大模型、AI等已经成为了绝对的主角,甚至连新版安卓都没提。 除了专业的Gemini 1.5 Pr...
-
谷歌硬刚GPT-4o!60秒视频生成模型虽迟但到,上下文窗口达200万
OpenAI出手再次惊艳世界,谷歌果然坐不住了。 GPT-4o掀起的一片“AGI已至”的惊呼声中,刚刚,Google DeepMind首席执行官哈萨比斯亲自携谷歌版《Her》登场。 同样能会还有,不仅能几乎没有延迟地和人类流畅交流,通过摄像头,这个名为P...
-
腾讯混元文生图大模型宣布开源:首个中文原生DiT架构
今日,腾讯旗下引人注目的混元文生图大模型(混元DiT)宣布全面开源,这一重要举措标志着人工智能领域的又一里程碑。该模型已在Hugging Face和Github平台上发布,包含完整的模型权重、推理代码和算法,面向全球的企业与个人开发者免费开放商用。 腾讯混...
-
通义灵码技术解析,打造 AI 原生开发新范式
大家好,我是通义灵码的产品技术负责人陈鑫。过去有八年时间,我都是在阿里集团做研发效能,即研发工具相关的工作。 我们从2015年开始做一站式 DevOps 平台,然后打造了云效,也就是将 DevOps 平台实现云化。到了2023年,我们明显感觉到大模型时代来...
-
万字长文总结提示词技巧!新加坡首届GPT-4提示工程大赛冠军最新分享
新加坡(GovTech)举办了首届GPT-4提示工程竞赛,Sheila Teo很幸运地取得了胜利。 提示工程是一门融合了艺术和科学的学科——它既是对技术的理解,也包含创造力和战略思维。 这次她和我们分享了她在学习过程中学到的提示工程策略,这些策略可以让任...
-
Refuel AI 推出专为数据标注和清洗设计的开源语言模型 RefuelLLM-2
Refuel AI 最近宣布推出两个新版本的大型语言模型(LLM),RefuelLLM-2和 RefuelLLM-2-small,这两个模型专为数据标注、清洗和丰富任务而设计,旨在提高处理大规模数据集的效率。 RefuelLLM-2的主要特点包括: 自...
-
力压Transformer?首篇Mamba综述来了!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 Mamba是一种新的选择性结构状态空间模型,在长序列建模任务中表现出色。Mamba通过全局感受野和动态加权,缓解了卷积神经网络的建模约束,并提供了类似于Transfo...
-
一文带您了解数据模型:概念模型、逻辑模型和物理模型
数据模型是组织数据管理的基石,是构建信息基础设施的关键组成部分。数据模型为组织提供了清晰的数据结构和逻辑框架,使得数据管理更加高效和可持续。在数字化时代,数据已成为企业最宝贵的资产之一,而数据模型的设计和实施,则决定了数据在企业运营和决策中的有效性和可信...
-
Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差,提供了新的研究框架。 众所周知,大语言模型的训练常常需要数月的时间,使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例,其训练总共需要 1,720,320 GPU hours。由...
-
生成式AI模型大PK——GPT-4、Claude 2.1和Claude 3.0 Opus
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 当前,RAG(检索增强生成 系统的新评估似乎每天都在发布,其中许多都集中在有关框架的检索阶段。然而,生成方面——模型如何合成和表...
-
外媒曝光苹果放弃造车真实原因!高管体验ChatGPT后担心掉队
快科技5月12日消息,近日,有国外媒体报道了苹果公司放弃自动驾驶汽车项目的原因。 报道称,苹果高层在体验了OpenAI推出的聊天机器人ChatGPT后,对其背后的强大生成式人工智能技术感到震惊。 苹果担心新兴AI技术可能威胁到iPhone的市场主导地位,甚...
-
AI 音乐应用 Udio 推出音频修复扩展新功能和付费订阅计划
AI 音乐初创公司 Udio 推出了几项新功能,包括音频修复和更长的上下文口,以改善音乐创作体验。Udio 还宣布了新的订阅计划细节。 新的 “音频修复工具让用户可以无缝地编辑和优化音轨的部分,Udio 表示。使用音频修复功能时,您选择轨的一部分,然后根据...
-
万字长文超全总结Pytorch核心操作!
在深度学习与人工智能领域,PyTorch已成为研究者与开发者手中的利剑,以其灵活高效的特性,不断推动着新技术的边界。对于每一位致力于掌握PyTorch精髓的学习者来说,深入了解其核心操作不仅是提升技能的关键,也是迈向高级应用与创新研究的必经之路。本文精心...
-
原作者带队,LSTM真杀回来了!
20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所...
-
当「软件研发」遇上 AI 大模型
作者:陈鑫(神秀) 大家好,我是通义灵码的产品技术负责人陈鑫。过去有八年时间,我都是在阿里集团做研发效能,即研发工具相关的工作。 我们从 2015 年开始做一站式 DevOps 平台,然后打造了云效,也就是将 DevOps 平台实现云化。到了 2023...
-
DriveWorld:一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注,而预训练对于提取通用表示至关重要。然而,当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务,忽视了自动驾驶作为4D场景理解...
-
LidaRF:研究用于街景神经辐射场的激光雷达数据(CVPR'24)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 光真实感模拟在自动驾驶等应用中发挥着关键作用,其中神经辐射场(NeRFs)的进步可能通过自动创建数字3D资产来实现更好的可扩展性。然而,由于街道上相机运动的高度共线性和在高速下的稀疏采样,街景的重建质...
-
DeepSeek Chat:AI对话助手 - 使用教程与免费体验入口
DeepSeek Chat是什么? DeepSeek Chat,基于DeepSeek-V2 模型,是一款集成了 2 千亿参数量的MoE(Mixture of Experts)模型的AI技术产品。它在中文综合能力(AlignBench)和英文综合能力(MT-...
-
一览Occ与自动驾驶的前世今生!首篇综述全面汇总特征增强/量产部署/高效标注三大主题
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 近年来,自动驾驶因其在减轻驾驶员负担和提高驾驶安全方面的潜力而越来越受到关注。基于视觉的三维占用预测是一种新兴的感知任务,适用于具有成本效益的自动驾驶感知系统,它可以...
-
OpenAI 与《People》出版商 Dotdash Meredith 达成合作
OpenAI 正在与另一家出版商合作,以授权获得培训数据。People和Better Homes & Gardens等品牌的所有者 Dotdash Meredith将向 OpenAI 授权其内容来训练ChatGPT,而出版商将使用 AI 公司的模型...
-
一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo
开源大模型领域,又迎来一位强有力的竞争者。 近日,探索通用人工智能(AGI)本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2,主打训练成本更低、推理更加高效。 项目地址:https://gi...
-
国产开源MoE指标炸裂:GPT-4级别能力,API价格仅百分之一
最新国产开源MoE大模型,刚刚亮相就火了。 DeepSeek-V2性能达GPT-4级别,但开源、可免费商用、API价格仅为GPT-4-Turbo的百分之一。 因此一经发布,立马引发不小讨论。 从公布的性能指标来看,DeepSeek-V2的中文综合能力超越...
-
OpenAI泄密者,投奔马斯克
刚被OpenAI开除的泄密者,光速投奔马斯克。 当事人Pavel Izmailov(以下简称小P),正是Ilya盟友之一,在Ilya领导的超级对齐团队干过。 半个月前,小P被指疑似泄露Q*相关机密而被开除。虽然不清楚他泄密了个啥,但当时闹得沸沸扬扬。 说...
-
全球最强开源 MoE 模型来了,中文能力比肩 GPT-4,价格仅为 GPT-4-Turbo 的近百分之一
想象一下,一个人工智能模型,不仅拥有超越传统计算的能力,还能以更低的成本实现更高效的性能。这不是科幻,DeepSeek-V2[1],全球最强开源 MoE 模型来了。 DeepSeek-V2 是一个强大的专家混合(MoE)语言模型,具有训练经济、推理高效...
-
手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据
过去几年,借助Scaling Laws的魔力,预训练的数据集不断增大,使得大模型的参数量也可以越做越大,从五年前的数十亿参数已经成长到今天的万亿级,在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上,...
-
开发者的LlamaIndex入门指南
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ LlamaIndex是一个专注于检索增强生成(RAG 的工具,可以协助您丰富大模型的数据提示。本文将用实例向您展示和介绍。 众所周知,...
-
58行代码把Llama 3扩展到100万上下文,任何微调版都适用
堂堂开源之王Llama 3,原版上下文窗口居然只有……8k,让到嘴边的一句“真香”又咽回去了。 在32k起步,100k寻常的今天,这是故意要给开源社区留做贡献的空间吗? 开源社区当然不会放过这个机会: 现在只需58行代码,任何Llama 3 70b的微调...