-
Fine-Tuning Vs RAG ，该如何选择？
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 构建块：向量、令牌和嵌入 。 随着技术的不断进步，LLM 带来了前所未有的机遇，吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而，当预训...
-
大神Karpathy强推，分词领域必读：自动钓鱼让大模型“发疯”的token，来自Transformer作者创业公司
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。 主题是：自动检测大模型中那些会导致“故障”的token。 图片 简单来说，由于大模型tokenizer的创建和模型训练是分开的，可能导致某些token在训练中很少...
-
小心！最新AI看一眼照片就定位你在哪里，精确到经纬度
有点恐怖。 现在，AI只需随意一张照片，就能知道你在哪里，而且是可以精确到经纬度的那种！ 例如下面这张随便到不能再随便的自拍，你能猜到小姐姐在哪里吗？ 这事交给现在的AI来处理，它只需要“看”一眼，就能把照片里的“底裤都给扒出来”： 美国，加利福尼亚...
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由...
-
OpenAI 部署新功能，ChatGPT 将具备电话通话能力
OpenAI 正在为其流行的语言模型 ChatGPT 部署一项特别的新功能，该功能将使其能够进行类似电话通话的交互。这一更新预计将在周一的某个活动中公布。 为了实现这一功能，OpenAI 已经部署了必要的 WebRTC（Web Real-Time Com...
-
70亿LLaMA媲美5400亿PaLM！MIT惊人研究用「博弈论」改进大模型｜ICLR 2024
遇到一个问题用不同表达方式prompt时，大模型往往会给出两种不同的答案。 比如，「秘鲁的首都是什么」，「利马是秘鲁的首都吗」。 对于这种回答不一致的问题，科学家们纷纷为大模型的「智商」担忧起来。 正如了LeCun所言： LLM确实比狗积累了更多的事实知...
-
生成式AI模型大PK——GPT-4、Claude 2.1和Claude 3.0 Opus
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 当前，RAG(检索增强生成 系统的新评估似乎每天都在发布，其中许多都集中在有关框架的检索阶段。然而，生成方面——模型如何合成和表...
-
ChatGPT之父OpenAI CEO：iPhone是最伟大的技术产品
快科技5月12日消息，据国外媒体报道，ChatGPT之父、OpenAI首席执行官山姆奥特曼日前参加了播客节目All-inPodcast”。 在访谈中奥特曼表示，iPhone是人类历史上制造出的最伟大的技术产品之一。 当被问及语言模型在设备端的情况如何呢”时...
-
Siri Ultra：快捷命令激活iPhone上的大模型进行对话与搜索
Siri Ultra是一款由大型语言模型（LLMs）支持的智能助手，它能够与iPhone上的快捷命令集成，实现包括Llama3、GPT等模型在内的对话功能。用户现在可以享受实时语音交互和联网搜索的便利。 Siri Ultra利用Cloudflare Wo...
-
奥特曼"剧透"OpenAI发布会：不是GPT-5，也不是搜索引擎 媒体爆料：是语音助手
5月11日消息，美国时间周五，人工智能初创公司OpenAI CEO萨姆·奥特曼（Sam Altman）在社交媒体X上发布了一条推文，调侃称将在本周一揭晓的“新产品”“感觉像魔法一样”。 【图注】 萨姆·奥特曼： 不是GPT-5，也不是搜索引擎，但我...
-
图灵巨头现身ICLR，顶会现场疯狂追星LeCun、Bengio！中国团队三大技术趋势引爆AGI新想象
这几天，AI届的盛会——ICLR在维也纳举办。 OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。 现场名流云集，星光耀眼，走几步就能偶遇一位发过颠覆性paper的大咖。 毫无意外地，ICLR 2024展厅也变成了追星现场。热闹的气氛...
-
14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？
2023-2024年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。 然而，对于这些模型的评测多集中于语言上的任务，...
-
AI游戏“换你来当爹”在哪玩 “换你来当爹”网页入口地址
在人工智能技术的推动下，游戏行业正在经历一场革命。最近，一款名为《换你来当爹》的AI游戏引起了广泛关注。这款游戏利用了最新的大型语言模型（LLM）技术，通过AI实时生成剧情和对应图片，为玩家提供了一种全新的游戏体...
-
扩散模型与文生视频
一、快速发展的文生视频 在当前的人工智能领域，文生视频技术有着引人注目的进展。该技术的核心任务非常明确，就是利用文本指令来控制视频内容的生成。具体而言，用户可以输入特定文本，系统则根据这段文本生成相应的视觉画面。这一过程并不局限于单一的输出，相同的文本可...
-
研究人员发现了针对云托管AI模型的“LLM劫持”计划
据网络安全研究人员透露，他们发现了一种新颖的攻击方式，利用窃取的云凭证针对云托管的大型语言模型（LLM）服务，目的是向其他威胁行为者出售访问权限。该攻击技术被 Sysdig 威胁研究团队命名为 LLMjacking。 研究人员 Alessandro Br...
-
人工智能正在摧毁互联网内容生态系统
苹果公司的新iPadPro的广告展示了一台巨型工业液压机如何将人类文化艺术的标志性器具(乐器、书籍、绘画材料等 无情碾压成粉末。该广告一经播出引发了全球文化界的广泛声讨。 美国电影制片人贾斯汀·贝特曼在X上写道：“为什么苹果要做一则碾压艺术的广告?科技...
-
LLM 评估新纪元：Arthur Bench 全方位解读
一、传统文本评估面临的挑战 近年来，随着大型语言模型（LLM）的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领域，我们可能已经听说过一些方法，例如基于“单词出现”的评估方法，比如 BLEU，以及基于“预训练的自然语言处理模型”...
-
研究称 AI、ChatGPT 和社交媒体可能加剧气候危机
一项发表在《全球环境政治》期刊上的论坛文章指出，生成式人工智能（AI）包括像 OpenAI 的 ChatGPT 这样的大型语言模型，以及社交体可能会削弱应对气候变化的努力。 来自英属哥伦比亚大学（UBC）的研究人员出，人们普遍认为 AI、社交媒体和其他技术...
-
太酷了！手机上部署最新AI大模型！只需两步！
在当前的AI革命中，大模型扮演着至关重要的角色，而这背后的基础便是Scaling Law。简而言之，随着数据、参数和计算能力的不断提升，大模型的能力也随之增强，展现出小规模模型所无法比拟的“涌现能力”。越来越多的AI企业纷纷推出开源大模型，按照扩展定律实...
-
法国AI初创公司 Mistral AI 估值 60 亿美元
法国初创公司 Mistral 致力于开源大型语言模型的研发，已在本轮融资中估值达到60亿美元，这一消息吸了投资界的广泛关注。据悉，DST、General Catalyst 和 Lightspeed Venture Partners 等投资机构均有意参与本轮...
-
如何借助假设文档嵌入改进语义搜索？
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文介绍了如何使用简单的大语言模型(LLM 调用来显著改善语义搜索结果的质量。 找到合适的AI模型来构建工作流程很困难。由于不同平台上...
-
原作者带队，LSTM真杀回来了！
20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所...
-
AI游戏《换你来当爹》上线 结果，我把逆子室友养废了...
在人工智能技术的推动下，游戏行业正经历着一场革命。最近，一款名为《换你来当爹》的AI游戏引起了广泛关注。这款游戏利用了最新的LLM（大型语言模型）技术，通过AI实时生成剧情和对应图片，为玩家提供了一种全新的游戏体验。 《换你来当爹》的核心魅力在于其高度的...
-
谷歌CEO皮查伊最新专访：AI浪潮尚处早期 已准备好打持久战
快科技5月9日消息，据国外媒体报道，近日谷歌CEO桑达尔皮查伊接受了《The Circuit With Emily Chang》主持人的独家专访。 皮查伊在访谈中指出，自2016年起，人工智能就已成为谷歌的核心焦点，尽管谷歌在聊天机器人领域的起步较晚，但他...
-
跟这些头部厂商交流后，终于知道AIGC、大模型持续火爆的原因 | WOT技术大会
2024年，是AIGC出现的第三年，也是其应用落地的元年！站在2024年的当下，有人会产生这样的疑问：为什么AIGC、大模型持续火爆？ 一个新兴概念之所以持续火爆，无外乎两个原因：往上看，技术本身还有着无穷无尽的发展潜力，远未触顶，国外的OpenAI、...
-
AlphaGo核心算法增强，7B模型数学能力直逼GPT-4，阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。 在MATH数据集上，甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注： 研究人员用蒙特卡洛树搜索（MCTS）给大语言模型来了把性能增强，无需人工标注解题步骤，也能...
-
LangGraph实战：从零分阶打造人工智能航空客服助手
客服助手机器人能够帮助团队更高效地处理日常咨询，但要打造一个能够稳定应对各种任务且不会让用户感到烦恼的机器人并非易事。 完成本教程后，你不仅会拥有一个功能完备的机器人，还将深入理解LangGraph的核心理念和架构设计。这些知识将帮助你在其他人工智能项目...
-
研究发现 AI 生成的同情心存在局限性
人工智能生成的对话代理（CAs）如 Alexa 和 Siri 旨在回答问题、提供建议，甚至展现同情心。然而，最新研究发现，在解释和探索用户体验方面，它们与人类相比表现不佳。 CAs 由大型语言模型（LLMs）驱动，这些模型摄入大量人类产生的数据，因此可能存...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
港大开源图基础大模型OpenGraph 增强图学习泛化能力
香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的图基础大模型，专注于在多种图数据集上进行零样本预测。该模型通过学习通用的图结构模式，仅通过前向传播即可对全新数据进行预测，有效缓解了图学习领域的数据饥荒问题。 关键特点: 强泛化能...
-
港大开源图基础大模型OpenGraph: 强泛化能力，前向传播预测全新数据
图学习领域的数据饥荒问题，又有能缓解的新花活了！ OpenGraph，一个基于图的基础模型，专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队，他们还针对图模型提出了提示调整技术，以提高模型对新任务的适应性。...
-
红帽发布 RHEL AI，助力企业开发、运行开源生成式AI模型
红帽在最近举办的峰会上宣布推出了 Red Hat Enterprise Linux AI（RHEL AI）开发者预览版。 该产品被定位为基础模型平台，用于无缝开发、测试和运行同类最佳的开源 Granite 生成式人工智能模型，为企业应用提供动力。RHEL...
-
据报道，微软正在开发拥有5000亿个参数的MAI-1人工智能模型
据The Information近日报道，微软公司正在开发一个拥有约5000亿个参数的大型语言模型。 据悉，这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。 OpenAI在2020年中期推出 GPT-3 时，详细说明了该模型的初始版...
-
Agent Hospital：一个先进的虚拟AI医院模拟平台
Agent Hospital是一个创新的虚拟AI医院平台，它通过模拟医院中的所有真实医疗流程，为医疗教育和临床决策提供了一个高效的训练和研究环境。该平台涵盖了从疾病发生到治疗与康复的整个医疗过程，包括分诊、挂号、咨询、检查、诊断、治疗和随访等关键环节。...
-
7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名
ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年举办的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。 在机器学习社区中，ICLR...
-
使用LLMLingua-2压缩GPT-4和Claude提示
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 缩短发送给大型语言模型(LLM 的提示的长度可以减少推理时间并降低成本。这是提示压缩成为LLM研究的一个热门领域的原因。 清华大学和微...
-
马斯克：SpaceX不使用AI 在太空探索领域几乎没用
快科技5月7日消息，据媒体报道，在一次访谈中，SpaceX CEO埃隆马斯克被问及人工智能是否会加速他在太空探索方面的努力，他表示：还没看到它有什么用。” 马斯克称：奇怪的是，太空探索几乎没有使用人工智能。所以SpaceX基本上没有使用人工智能，Starl...
-
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。 近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。 项目地址：https://gi...
-
斯坦福20亿参数端测多模态AI Agent模型大升级，手机汽车机器人都能用
全球首个超小型多模态AI Agent模型Octopus V3，来自斯坦福大学的NEXA AI团队，让Agent更加智能、快速、能耗及成本降低。 今年四月份初，NEXA AI推出了备受瞩目的Octopus V2，该模型在函数调用性能上超越了GPT-4，减...
-
微调和量化竟会增加越狱风险！Mistral、Llama等无一幸免
大模型又又又被曝出安全问题！ 近日，来自Enkrypt AI的研究人员发表了令人震惊的研究成果：量化和微调竟然也能降低大模型的安全性！ 论文地址：https://arxiv.org/pdf/2404.04392.pdf 在作者的实际测试中，Mistra...
-
“守卫模型”让GenAI更安全
企业渴望部署生成式人工智能（GenAI）应用程序，但对有毒内容、敏感数据泄露和幻觉的担忧让他们犹豫不决。一个潜在的解决方案是在GenAI应用程序旁边部署“守卫模型”（guard models），可以立即检测和防止这种风险行为。这就是Datarobot所支...
-
快3倍！Meta 违背经典模型结构，一次预测多个token，路径可行，大模型大幅提速指日可待！
编译|伊风 出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLMs的工作原理是对下一个token进行预测。 读者朋友们有没有曾这样想过：如果LLM一次预测n个token呢？那是不是就快n倍？Meta也是这样想的！并且付诸实践。 在最...
-
Meta 发布新多token预测技术，使AI模型速度提升3倍
近期，Meta、Ecole des Ponts ParisTech 和 Université Paris-Saclay 的研究人员在一项研究中提出了一种改进 AI 大型语言模型（LLMs）准确性和速度的方法，即通过同时预测多个token。这与自回归语言模型...
-
全球最强开源 MoE 模型来了，中文能力比肩 GPT-4，价格仅为 GPT-4-Turbo 的近百分之一
想象一下，一个人工智能模型，不仅拥有超越传统计算的能力，还能以更低的成本实现更高效的性能。这不是科幻，DeepSeek-V2[1]，全球最强开源 MoE 模型来了。 DeepSeek-V2 是一个强大的专家混合（MoE）语言模型，具有训练经济、推理高效...
-
为什么LLM在人工智能中如此受欢迎?
将大型语言模型(LLM 提升到人工智能(AI 同义词世界的中心是一项巨大的任务，它改变了描述自然语言处理(NLP 的方式。这些高度复杂的模型将其翻译成英语,使我们能够理解和生成质量可接受的文本，这是由于使用了大量数据集，并在使用的变压器网络架构等人工神...
-
那些可免费使用的在线大语言模型服务
2022年底以ChatGPT[1]为代表的大语言模型的出现掀起了人工智能应用的新浪潮。这些庞大的语言模型经过对海量文本数据的训练，能够理解和生成逼近人类水平的自然语言，在对话、问答、文本生成、代码编写等领域展现出了惊人的能力。 最初这种能力“垄断”在Op...
-
ChatGPT.COM 域名启用 其搜索产品预计本周上线
ChatGPT.COM 域名已经正式启用了。目前，访问OpenAI的原聊天模型访问地址 https://chat.openai.com 将会跳转到新的域名 https://chatgpt.com。 ChatGPT搜索引擎即将发布? 5月6日，Reddit...
-
手机可跑，3.8B参数量超越GPT-3.5！微软发布Phi-3技术报告：秘密武器是洗干净数据
过去几年，借助Scaling Laws的魔力，预训练的数据集不断增大，使得大模型的参数量也可以越做越大，从五年前的数十亿参数已经成长到今天的万亿级，在各个自然语言处理任务上的性能也越来越好。 但Scaling Laws的魔法只能施加在「固定」的数据源上，...
-
制造星野：穿越平行时空和次元壁，揭秘 MiniMax 的另类 AI 世界
“AGI”。 幻海（花名）第一次听到这个词，是在 2022 年 7 月。 跟他“科普”这个词的，是一个戴着眼镜、头顶毛发稀疏，但语速极快的 34 岁男子。后者的公司刚刚成立一年，在这家位于漕河泾科技园的公司那面粉紫色的磨砂屏风上，七个字母“MiniMax”...