-
OPPO 下一代大数据 AI 一体架构实践
一、技术架构 OPPO 大数据场景丰富,拥有海外的 AWS 功能云,国内自建机房,机器规模超过万台,在印度则是使用混合云模式。 首先来介绍一下 AWS 上功能云 EMR 的实践。 1. 云原生计算架构 OPPO 早期全部采用 EMR,其存在以下一些问题...
-
大神Karpathy强推,分词领域必读:自动钓鱼让大模型“发疯”的token,来自Transformer作者创业公司
关于大模型分词(tokenization),大神Karpathy刚刚推荐了一篇必读新论文。 主题是:自动检测大模型中那些会导致“故障”的token。 图片 简单来说,由于大模型tokenizer的创建和模型训练是分开的,可能导致某些token在训练中很少...
-
小心!最新AI看一眼照片就定位你在哪里,精确到经纬度
有点恐怖。 现在,AI只需随意一张照片,就能知道你在哪里,而且是可以精确到经纬度的那种! 例如下面这张随便到不能再随便的自拍,你能猜到小姐姐在哪里吗? 这事交给现在的AI来处理,它只需要“看”一眼,就能把照片里的“底裤都给扒出来”: 美国,加利福尼亚...
-
Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差,提供了新的研究框架。 众所周知,大语言模型的训练常常需要数月的时间,使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例,其训练总共需要 1,720,320 GPU hours。由...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到,通过映射得到对应item相关的entity后,基于图谱推理流程,我们可以得到许多和映射得到的entity相关的高阶信息,如苹果这个公司有手机产品,而手机这类产品相关的公司有三星等,从而可以潜在的拉近和其他相关实体(如三星生产的手机等)间的关系。...
-
奥特曼"剧透"OpenAI发布会:不是GPT-5,也不是搜索引擎 媒体爆料:是语音助手
5月11日消息,美国时间周五,人工智能初创公司OpenAI CEO萨姆·奥特曼(Sam Altman)在社交媒体X上发布了一条推文,调侃称将在本周一揭晓的“新产品”“感觉像魔法一样”。 【图注】 萨姆·奥特曼: 不是GPT-5,也不是搜索引擎,但我...
-
人工智能正在摧毁互联网内容生态系统
苹果公司的新iPadPro的广告展示了一台巨型工业液压机如何将人类文化艺术的标志性器具(乐器、书籍、绘画材料等 无情碾压成粉末。该广告一经播出引发了全球文化界的广泛声讨。 美国电影制片人贾斯汀·贝特曼在X上写道:“为什么苹果要做一则碾压艺术的广告?科技...
-
原作者带队,LSTM真杀回来了!
20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所...
-
谷歌CEO皮查伊最新专访:AI浪潮尚处早期 已准备好打持久战
快科技5月9日消息,据国外媒体报道,近日谷歌CEO桑达尔皮查伊接受了《The Circuit With Emily Chang》主持人的独家专访。 皮查伊在访谈中指出,自2016年起,人工智能就已成为谷歌的核心焦点,尽管谷歌在聊天机器人领域的起步较晚,但他...
-
跟这些头部厂商交流后,终于知道AIGC、大模型持续火爆的原因 | WOT技术大会
2024年,是AIGC出现的第三年,也是其应用落地的元年!站在2024年的当下,有人会产生这样的疑问:为什么AIGC、大模型持续火爆? 一个新兴概念之所以持续火爆,无外乎两个原因:往上看,技术本身还有着无穷无尽的发展潜力,远未触顶,国外的OpenAI、...
-
AlphaGo核心算法增强,7B模型数学能力直逼GPT-4,阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上,“高考”成绩直接提升了20多分。 在MATH数据集上,甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注: 研究人员用蒙特卡洛树搜索(MCTS)给大语言模型来了把性能增强,无需人工标注解题步骤,也能...
-
理论+实践,带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》,作者: 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练(Distributed Training)系统来解决...
-
LLM全搞定!OmniDrive:集3D感知、推理规划于一体(英伟达最新)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战,尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
港大开源图基础大模型OpenGraph 增强图学习泛化能力
香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的图基础大模型,专注于在多种图数据集上进行零样本预测。该模型通过学习通用的图结构模式,仅通过前向传播即可对全新数据进行预测,有效缓解了图学习领域的数据饥荒问题。 关键特点: 强泛化能...
-
港大开源图基础大模型OpenGraph: 强泛化能力,前向传播预测全新数据
图学习领域的数据饥荒问题,又有能缓解的新花活了! OpenGraph,一个基于图的基础模型,专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队,他们还针对图模型提出了提示调整技术,以提高模型对新任务的适应性。...
-
那些可免费使用的在线大语言模型服务
2022年底以ChatGPT[1]为代表的大语言模型的出现掀起了人工智能应用的新浪潮。这些庞大的语言模型经过对海量文本数据的训练,能够理解和生成逼近人类水平的自然语言,在对话、问答、文本生成、代码编写等领域展现出了惊人的能力。 最初这种能力“垄断”在Op...
-
制造星野:穿越平行时空和次元壁,揭秘 MiniMax 的另类 AI 世界
“AGI”。 幻海(花名)第一次听到这个词,是在 2022 年 7 月。 跟他“科普”这个词的,是一个戴着眼镜、头顶毛发稀疏,但语速极快的 34 岁男子。后者的公司刚刚成立一年,在这家位于漕河泾科技园的公司那面粉紫色的磨砂屏风上,七个字母“MiniMax”...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里,自然语言处理(NLP)领域发生了显著的变化,这主要得益于OpenAI的GPT系列等大语言模型(LLM)的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法,在翻译、情绪分析和文本自动...
-
LeCun哈佛演讲PPT放出:唱衰自回归LLM,指明下一代AI方向
机器如何能像人类和动物一样高效地学习?机器如何学习世界运作方式并获得常识?机器如何学习推理和规划…… 当一系列问题被提出时,有人回答自回归 LLM 足以胜任。 然而,知名 AI 学者、图灵奖得主 Yann LeCun 并不这么认为,他一直唱衰自回归 LL...
-
OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架
本文经自动驾驶之心公众号授权转载,转载请联系出处。 从一个新颖的3D MLLM架构开始,该架构使用稀疏查询将视觉表示提升和压缩到3D,然后将其输入LLM。 题目:OmniDrive: A Holistic LLM-Agent Framework for...
-
苹果将用自研模型Ajax优化iOS 18 不会推出类ChatGPT聊天机器人
苹果公司正致力于通过其自研的大语言模型Ajax来革新和增强iOS18的用户体验。 Ajax模型于2023年7月首次亮相,它基于Google的Jax机器学习框架构建,并在Google Cloud上运行,展现出了与OpenAI的ChatGPT、微软的Bing、...
-
斯坦福李飞飞首次创业:学术休假两年,瞄准「空间智能」
没想到,在大模型时代,知名「AI 教母」李飞飞也要「创业」了,并完成了种子轮融资。 据路透社独家报道,著名计算机科学家李飞飞正在创建一家初创公司。该公司利用类似人类的视觉数据处理方式,使人工智能能够进行高级推理。 知情人士透露称,李飞飞最近为这家公司进行...
-
AI人才争夺战,华尔街入局:豪掷百万美元年薪抢人
继硅谷之后,华尔街也入局“AI人才争夺大战”。 他们的目标非常明确——抢的就是高精尖的AI专家。 现在这条“街”上,不论是银行、对冲基金还是私募股权公司都已纷纷下场,可谓是豪掷千金,大抢特抢。 能有多豪? 奉上一组“最热Top5岗位”薪酬数据: AI/机...
-
AI教母李飞飞首次创业!成立“空间智能”公司,已完成种子轮
AI教母李飞飞,创业了! 最新消息,斯坦福大学教授李飞飞正在建立一家AI公司,已完成种子轮融资。 公司方向定为“空间智能”——旨在让AI能像人类一样对视觉信息进行高级推理。消息人士表示,这将是该技术的一次飞跃。 投资方包括硅谷风投a16z和Radical...
-
MindSpore强化学习:使用PPO配合环境HalfCheetah-v2进行训练
本文分享自华为云社区《MindSpore强化学习:使用PPO配合环境HalfCheetah-v2进行训练》,作者: irrational。 半猎豹(Half Cheetah)是一个基于MuJoCo的强化学习环境,由P. Wawrzyński在“A Cat...
-
苹果推出理解、转化模型ReALM,性能超GPT-4
苹果的研究人员推出了一种创新模型ReALM,可将参考解析问题转化为语言建模问题,能极大提升AI助手处理很多描述复杂或模糊不清的内容。 例如,我们网购时选好了橘子、鸭梨、苹果、橘子汽水、洗发水、短袖、拖鞋等物品,然后告诉AI助手只结算水果。这时传统的AI助手...
-
开源大模型王座再易主,通义千问1100亿参数拿下SOTA,3个月已推出8款模型
开源大模型,已经开启大卷特卷模式。 全球范围,太平洋两岸,双雄格局正在呼之欲出。 Llama 3中杯大杯刚惊艳亮相,国内通义千问就直接开源千亿级参数模型Qwen1.5-110B,一把火上Hacker News榜首。 不仅相较于自家720亿参数模型性能明...
-
“地表最强”文生视频模型?Sora 背后有何秘密?
自 2022 年底 ChatGPT 的横空出世,人工智能再度成为全世界的焦点,基于大语言模型(LLM)的 AI 更是人工智能领域的“当红炸子鸡”。此后的一年,我们见证了 AI 在文生文、文生图领域的飞速进展,但在文生视频领域发展相对较慢。而在 2024 年...
-
小红书从记忆机制解读信息检索,提出新范式获得 EACL Oral
近日,来自小红书搜索算法团队的论文《Generative Dense Retrieval: Memory Can Be a Burden》被自然语言处理领域国际会议 EACL 2024 接收为 Oral,接受率为 11.32%(144/1271)。 他...
-
Nvidia GTC 24:你准备好迎接AI未来了吗?
2024 年 Nvidia GTC 大会涵盖了围绕 AI 时代的主题,这引出了以下总体问题:各行业组织的云和 IT 基础设施是否已为 AI 的未来做好准备? 在主题演讲中,Nvidia 首席执行官黄仁勋在加州圣何塞 SAP 中心向观众发表了两个小时的...
-
半年涨粉1000万,这个AI聊天搭子是怎么火的
最近,很多快手用户都能发现,一个名叫「AI小快」的账号格外活跃。 在视频作品的评论区,经常有人跟「AI小快」聊得火热,一个抛梗、一个接梗: 如果你问点严肃问题,AI小快一样有问必答: 没看明白的视频,还能帮忙解读: 甚至还有离谱之中带有一丝合理的扩...
-
大语言模型对汽车行业的影响和实践探索
汽车行业作为技术创新的重要领域,正迅速采纳大语言模型,如 GPT 系列,以推动行业的数字化转型。这些模型在提升车载智能系统的交互体验、优化客户服务、加速产品开发及市场营销策略方面展现出巨大潜力。通过具体应用案例分析,接下来我们一起揭示大语言模型如何为汽...
-
量化、剪枝、蒸馏,这些大模型黑话到底说了些啥?
量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,我们很难理解它们都干了些什么,但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们,理解其中的原理。 模型压缩 量化、剪枝、蒸馏,其实是通用的神经网络...
-
革新LLM微调之道:全方位解读PyTorch原生库torchtune的创新力量与应用价值
在人工智能领域,大语言模型(LLMs)正日益成为研究和应用的新热点。然而,如何高效、精准地对这些庞然大物进行调优,一直是业界和学术界面临的重要挑战。近期,PyTorch官方博客发布了一篇关于TorchTune的文章,引起了广泛关注。TorchTune作为...
-
股价飙升!商汤大模型挑战GPT4
4月24日,商汤集团在港交所暂停交易前股价上涨31.15%。商汤集团表示,其大模型日日新5.0发布会受到市场极大关注,公司将进一步刊发相关公告。在“2024年商汤技术交流日”上,商汤发布了其最新的大模型——SenseNova5.0,旨在追赶GPT-4,这反...
-
颜水成挂帅,奠定「通用视觉多模态大模型」终极形态!一统理解/生成/分割/编辑
近日,颜水成教授团队联合发布并开源了Vitron通用像素级视觉多模态大语言模型。 项...
-
昆仑万维,闯入AI“决赛”
从电子计算机诞生前,符号主义学派与连接主义学派的斗争,到后来深度学习的兴起,再到如今AIGC领域的爆发,AI从理论到实践的跨越过程,亦悄然改写了人类的历史进程。 当下,随着一众科技公司竞相拥抱AIGC浪潮,将AI战略常态化,AIGC赛道的中场战事已然打响—...
-
AI信任危机之后,揭秘预训练如何塑造机器的「可信灵魂」
图表 1: 大模型的通用训练流程 [1] 在人工智能的前沿领域,大语言模型(Large Language Models,LLMs)由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中,预训练阶段占据着举足轻重的地位,它不仅消耗了大量的计...
-
曾秒售罄口袋AI设备Rabbit R1竟是一场骗局?设备源代码首次曝光
美国初创公司rabbit.tech推出的口袋 AI 设备 Rabbit R1曾一度引起轰动,声称该设备能够代替用户执行任务,让用户远离应用程序的束缚。Rabbit首批1万台竟在短短一天内就被抢购一空,其售价为199美元 不过,有开发者在github曝光,...
-
微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了
Llama 3发布刚几天,微软就出手截胡了? 刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。 其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama 3 8B。 为了方便开源社区使用,还特意设计成了与Llama系列兼容的结...
-
一文了解大语言模型(LLM)
人工智能的发展给我们的生活带来很多不一样的体验。面部识别可以解锁设备,激光雷达可以实现自动驾驶。当2023年,OpenApi的chatGPT可以“理解”人类的语言并与我们进行沟通时,大语言模型的概念出现在我们面前。 在自然语言处理领域的大语言模型(La...
-
阿里云宣布全方位支持Llama 3训练推理 帮助开发者构建自己的大模型
阿里云百炼大模型服务平台近期宣布了一项重要的支持计划,即为Meta公司最新开源的Llama3系列大语言模型提供全方位的支持。这项服务包括限时免费的模型训练、部署和推理服务,旨在帮助企业和开发者在阿里云平台上构建和优化自己的专属大模型。 主要如下: 免费...
-
Linux之父讽刺AI炒作:很搞笑,大概我也会被大模型取代
几天前,由 Linux 基金会主办的北美开源峰会(Open Source Summit North America)在华盛顿西雅图闭幕。 会上,Linux 之父 Linus Torvalds 与其好友、Verizon 开源项目办公室负责人 Dirk Ho...
-
用百度文库AI,我也能轻松创建漫画、画本?
作为一种受众广泛的艺术形式,漫画的影响力应该不需要我多说什么。 强烈的视觉化和叙事性,让漫画成为无数年轻读者的阅读启蒙,也让无数二十一世纪青年拥有了自己的「漫画梦」。可是要制作出一份能拿得出手的漫画谈何容易,先不论作画水平能不能拿出手,单纯是前期查找资料、...
-
微软紧急撤回最先进的AI大模型:居然忘了测试了
快科技4月21日消息,Meta发布超级彪悍的大语言模型Llama 3之后,微软也很快推出了自己的新一代WizardLM2 8x22B,号称迄今最强大,完全超越Claude 3 OpusSonnet、GPT-4等竞品,而且开源,但是马上又把它撤回去了。 没有...
-
让玩家全程掌控游戏:自然语言指令驱动的游戏引擎到来了
对于每一位热爱打游戏的人而言,都曾经想过这样一个问题,「这游戏要是我来做就好了!」 可惜的是,游戏开发有很高的门槛,需要专业的编程技巧。 近日,来自上海交大的团队开展了一个名为「Instruction-Driven Game Engine, IDGE」的...
-
再见,AI意识先驱:Daniel Dennett
认知科学和哲学的巨人、塔夫茨大学名誉教授丹尼尔·丹尼特(Daniel Dennett)逝世了,享年82岁。 丹尼特在哲学领域做出了重大的贡献,被称为“进化论四骑士”之一,是近二十年来西方新无神论运动的领军人物。 他的巨作《意识的解释》被认为是心智哲学甚至当...
-
六种方式快速体验最新发布的 Llama 3!
昨晚, Meta 发布了 Llama 3 8B 和 70B 模型,Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化,在常见基准测试中优于许多现有的开源聊天模型。比如,Gemma 7B 和 Mistral 7B。 Llama 3 模型将...
-
部署本地的大语言模型,只需几分钟!
2023 年是 AI 高速发展的一年,除了功能强大的商用大语言模型之外,也出现了很多不错的开源大语言模型。比如,Llama2、Codellama、Mistral 和 Vicuna 等。虽然商用的大语言模型 ChatGPT、Bard 和 Claude 功...
-
蚂蚁集团等发布开源大模型知识抽取框架OneKE
蚂蚁集团和浙江大学合作开发了一个名为 OneKE 的开源大模型知识抽取框架。该框架旨在帮助处理信息抽取、文本数据结构化和知识图谱构建等任务,为研究人员和开发者提供有力工具。 这个框架的作用是从海量数据中提取结构化知识,构建高质量的知识图谱,并建立知识要素之...