-
识别细胞也能用大模型了！清华系团队出品，已入选ICML 2024 | 开源
大模型带来的生命科学领域突破，刚刚再传新进展。 来自清华系，使用大模型实现了单细胞身份识别，同时模型LangCell也正式对外开源。 它不仅可以准确识别细胞身份，还具有很强的零样本分析能力，论文已被ICML 2024录⽤。 LangCell的数据集中包...
-
一文读懂主流领先的 SLM（小型语言模型）
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - SLM(小型语言模型 。 在 AI 狂卷的浪潮中，LLM(大型语言模型 无疑成为了整个互联网乃至科技界的焦点所在。以 GPT-3、BERT 等为代表的 LL...
-
小米AI大模型MiLM通过备案 将应用于手机、汽车产品中
5月16日，小米公司宣布，小米大语言模型MiLM正式通过大模型备案，小米大模型将逐步应用于小米汽车、手机、智能家居等产品中。 5月15日，北京市生成式人工智能服务新增已备案信息正式公布。此次19家企业新增备案，包括了北京小米科技有限责任公司“小米”、腾讯...
-
GPT-4o干掉初创全网实测，马斯克Karpathy等大佬纷表不服：OpenAI不过如此
OpenAI一夜之间，又干掉了一大批初创公司。 官方公布的全能模型GPT-4o的炸裂演示，即便过去了一天，依旧让全网深陷其中，无法自拔。 凭借实时语音视频对话，GPT-4o已经深入教育、翻译、视频会议等领域的变革。 OpenAI科学家Lilian W...
-
微软让MoE长出多个头，大幅提升专家激活率
混合专家（MoE）是个好方法，支持着现在一些非常优秀的大模型，比如谷歌家的 Gemini 1.5 以及备受关注的 Mixtral 8x7B。 稀疏混合专家（SMoE）可在不显著增加训练和推理成本的前提下提升模型的能力。比如 Mixtral 8×7B 就是...
-
华为云引领首个代码大模型国际标准立项
本文分享自华为云社区《华为云引领首个代码大模型国际标准立项》，作者： 华为云头条。 近日，国际电信联盟电信标准分局第十六研究组（ITU-T SG16）于法国雷恩召开全体会议，《基于人工智能的代码生成技术要求和评估方法》国际标准项目成功获得立项通过。...
-
网友缝合Llama3 120B竟意外能打，轻松击败GPT2-chatbot和GPT-4
Llama 3首发阵容里没有的120B型号竟意外“曝光”，而且十分能打？！ 最近这样一个号称是「Llama3-120b」的神秘大模型火了起来，原因在于它表现太出色了—— 轻松击败GPT-4、gpt2-chatbot那种。 比如，面对像「观察希格斯场是否会...
-
Fine-Tuning Vs RAG ，该如何选择？
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 构建块：向量、令牌和嵌入 。 随着技术的不断进步，LLM 带来了前所未有的机遇，吸引了开发者和组织纷纷尝试利用其强大的能力构建应用程序。然而，当预训...
-
英伟达开源大模型对齐框架—NeMo-Aligner
随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多，为了确保输出的内容安全、可靠，对齐成为开发人员的关注重点和难点。 但现在的模型参数少则几百亿多则上千亿，想通过传统的监督式微调方法来完成对齐效果往往不理想。 因此，英伟达的研究...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到，通过映射得到对应item相关的entity后，基于图谱推理流程，我们可以得到许多和映射得到的entity相关的高阶信息，如苹果这个公司有手机产品，而手机这类产品相关的公司有三星等，从而可以潜在的拉近和其他相关实体（如三星生产的手机等）间的关系。...
-
图灵巨头现身ICLR，顶会现场疯狂追星LeCun、Bengio！中国团队三大技术趋势引爆AGI新想象
这几天，AI届的盛会——ICLR在维也纳举办。 OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。 现场名流云集，星光耀眼，走几步就能偶遇一位发过颠覆性paper的大咖。 毫无意外地，ICLR 2024展厅也变成了追星现场。热闹的气氛...
-
LLM 评估新纪元：Arthur Bench 全方位解读
一、传统文本评估面临的挑战 近年来，随着大型语言模型（LLM）的快速发展和改进，传统的文本评估方法在某些方面可能已经不再适用。在文本评估领域，我们可能已经听说过一些方法，例如基于“单词出现”的评估方法，比如 BLEU，以及基于“预训练的自然语言处理模型”...
-
DriveWorld：一个预训练模型大幅提升检测+地图+跟踪+运动预测+Occ多个任务性能
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 以视觉为中心的自动驾驶技术近期因其较低的成本而引起了广泛关注，而预训练对于提取通用表示至关重要。然而，当前的以视觉为中心的预训练通常依赖于2D或3D预训练任务，忽视了自动驾驶作为4D场景理解...
-
ChatGPT会取代搜索引擎吗？
从产品交互层面，还无法取代搜索引擎，从技术角度稍微改造一下，取代传统搜索引擎是可行的。 但目前ChatGPT的交互形态，还不能取代搜索引擎。 比如ChatGPT对于不少知识类型的问题，会给出看似很有道理的答案，但有时这些答案可能是错的，但很多问题他又可以...
-
AlphaGo核心算法增强，7B模型数学能力直逼GPT-4，阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。 在MATH数据集上，甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注： 研究人员用蒙特卡洛树搜索（MCTS）给大语言模型来了把性能增强，无需人工标注解题步骤，也能...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
清华首个AI医院小镇来了！AI医生自进化击败人类专家，数天诊完1万名患者
斯坦福AI小镇曾火遍了全网，25个智能体生活交友，堪称现实版的「西部世界」。 而现在，AI「医院小镇」也来了！ 最近，来自清华团队的研究人员开发了一个名为「Agent Hospital」的模拟医院。 论文地址：https://arxiv.org/pdf...
-
揭秘DeDoDe v2：如何革新关键点检测技术，让AI“眼”更明亮？
一、技术革新，DeDoDe v2应运而生 在图像处理和计算机视觉领域，关键点检测是许多应用的基础，如目标识别、图像匹配、三维重建等。然而，传统的关键点检测技术往往存在着检测不准确、易受噪声干扰等问题。为了解决这些问题，Linköping大学等科研团队推出...
-
港大开源图基础大模型OpenGraph: 强泛化能力，前向传播预测全新数据
图学习领域的数据饥荒问题，又有能缓解的新花活了！ OpenGraph，一个基于图的基础模型，专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队，他们还针对图模型提出了提示调整技术，以提高模型对新任务的适应性。...
-
7262篇提交，ICLR 2024爆火，两篇国内论文获杰出论文提名
ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年举办的是第十二届，于 5 月 7 日至 11 日在奥地利维也纳展览会议中心举办。 在机器学习社区中，ICLR...
-
前特斯拉Optimus科学家跳槽HF，直接开源了一个机器人代码库
今年 3 月，以构建大型开源社区而闻名的 AI 初创公司 Hugging Face，挖角前特斯拉科学家 Remi Cadene 来领导一个新的开源机器人项目 ——LeRobot，引起了轰动。 Remi Cadene 在今年三月宣布结束其三年的 Tesl...
-
一块钱100万token，超强MoE模型开源，性能直逼GPT-4-Turbo
开源大模型领域，又迎来一位强有力的竞争者。 近日，探索通用人工智能（AGI）本质的 DeepSeek AI 公司开源了一款强大的混合专家 (MoE 语言模型 DeepSeek-V2，主打训练成本更低、推理更加高效。 项目地址：https://gi...
-
快3倍！Meta 违背经典模型结构，一次预测多个token，路径可行，大模型大幅提速指日可待！
编译|伊风 出品 | 51CTO技术栈（微信号：blog51cto） 众所周知，LLMs的工作原理是对下一个token进行预测。 读者朋友们有没有曾这样想过：如果LLM一次预测n个token呢？那是不是就快n倍？Meta也是这样想的！并且付诸实践。 在最...
-
为什么LLM在人工智能中如此受欢迎?
将大型语言模型(LLM 提升到人工智能(AI 同义词世界的中心是一项巨大的任务，它改变了描述自然语言处理(NLP 的方式。这些高度复杂的模型将其翻译成英语,使我们能够理解和生成质量可接受的文本，这是由于使用了大量数据集，并在使用的变压器网络架构等人工神...
-
微调大语言模型的七个步骤
译者 | 布加迪 审校 | 重楼 在最近一年半的时间里，自然语言处理（NLP）领域发生了显著的变化，这主要得益于OpenAI的GPT系列等大语言模型（LLM）的兴起。 这些功能强大的模型已彻底改变了我们处理自然语言任务的方法，在翻译、情绪分析和文本自动...
-
ChatGPT们的幕后先驱，斯坦福教授Manning的四十年NLP生涯
今年 1 月份，2024 年度 IEEE 冯诺伊曼奖项结果正式公布，斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁（Christopher Manning）获奖。 曼宁教授是将深度学习应用于 NLP 领域的早期领军人物，在词向量 GloVe...
-
AI可以改写人类基因组吗？首次由AI从头设计的基因编辑器成功编辑人类细胞中DNA
生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码...... 那么，AI 可以改写人类基因组吗？ 现在，新的 AI 技术正在为可编辑 DNA 的微观生物机制绘制蓝图，这预示着未来科学家将以更高的精度和速度对抗疾病。 近日，美国 AI 蛋白质设计初...
-
终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名
当前最火的大模型，竟然三分之二都存在过拟合问题？ 刚刚出炉的一项研究，让领域内的许多研究者有点意外。 提高大型语言模型的推理能力是当前研究的最重要方向之一，而在这类任务中，近期发布的很多小模型看起来表现不错，比如微软 Phi-3、Mistral 8x2...
-
专利大模型的实践与知识问答探索
一、专利大模型背景介绍 智慧芽一直致力于为科技创新和知识产权领域提供信息服务。在小型模型时代（如 Bert），参数量较少，智能理解方面存在局限性。因此，在着手开发大模型之前，智慧芽深入思考了领域聚焦的重要性。在知识产权领域，专利检索、专利对比、标引工作...
-
Meta训AI，成本已超阿波罗登月！谷歌豪言投资超千亿美元，赛过OpenAI星际之门
【新智元导读】近日访谈中，LeCun亲口证实:Meta为购入英伟达GPU已经花费了300亿美元，成本超过阿波罗登月。相比之下，微软和OpenAI打造的星际之门耗资1000亿美元，谷歌DeepMind CEO Hassabis则放出豪言:谷歌投入的，比这个数...
-
AI教母李飞飞首次创业！成立“空间智能”公司，已完成种子轮
AI教母李飞飞，创业了! 最新消息，斯坦福大学教授李飞飞正在建立一家AI公司，已完成种子轮融资。 公司方向定为“空间智能”——旨在让AI能像人类一样对视觉信息进行高级推理。消息人士表示，这将是该技术的一次飞跃。 投资方包括硅谷风投a16z和Radical...
-
重启与OpenAI的谈判，苹果为iOS 18的AI找“备胎”
如果说在AI大模型崭露头角的2023年，苹果方面的做法是观望，那么到了2024年，他们显然已经不再认为这一轮人工智能浪潮是“AI炒作”（AI hype）了。继此前300亿参数规模的MM1模型亮相后，苹果又在不久前在AI开源社区Hugging Face放出了...
-
Llama 3细节公布！AI产品总监站台讲解：Llama系列超庞大生态系统
除了计算资源和训练数据这些硬实力外，Llama3模型开源的训练思路覆盖了LLM模型的全部生命周期，提供了各种开源生态系统下的工具。 Llama3的开源，再次掀起了一场大模型的热战，各家争相测评、对比模型的能力，也有团队在进行微调，开发衍生模型。 最近，M...
-
开源大模型王座再易主，通义千问1100亿参数拿下SOTA，3个月已推出8款模型
开源大模型，已经开启大卷特卷模式。 全球范围，太平洋两岸，双雄格局正在呼之欲出。 Llama 3中杯大杯刚惊艳亮相，国内通义千问就直接开源千亿级参数模型Qwen1.5-110B，一把火上Hacker News榜首。 不仅相较于自家720亿参数模型性能明...
-
神秘GPT模型引爆社区，GPT-4.5、GPT-5谣言满天飞，奥特曼在线围观
这场等待「GPT-5」的游戏啥时候才能结束? GPT-5啥时候来?估计是 AI 领域最关心的问题之一了。是像 Sora 一样毫无预兆的发布，还是我们可以从边角料的爆料中得知一点点信息，大家对未来将要发布的这一模型充满了期待。 但奥特曼在一次访谈中表示，Op...
-
还在YOLO-World？DetCLIPv3出手！性能大幅度超出一众SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 现有的开词汇目标检测器通常需要用户预设一组类别，这大大限制了它们的应用场景。在本文中，作者介绍了DetCLIPv3，这是一种高性能检测器，不仅在开词汇目标检测方面表现出色，同时还能为检测到的目标生成...
-
大语言模型对汽车行业的影响和实践探索
汽车行业作为技术创新的重要领域，正迅速采纳大语言模型，如 GPT 系列，以推动行业的数字化转型。这些模型在提升车载智能系统的交互体验、优化客户服务、加速产品开发及市场营销策略方面展现出巨大潜力。通过具体应用案例分析，接下来我们一起揭示大语言模型如何为汽...
-
利用TimeGPT的深度学习能力实现预测分析的革新
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 人工智能对预测分析产生了根本性的影响，使得预测比以往任何时候都更加精确。各行各业都在充分利用人工智能的强大能力，以预测未来趋势并为即将...
-
Llama 3低比特量化性能下降显著！全面评估结果来了 | 港大&北航&ETH
大模型力大砖飞，让LLaMA3演绎出了新高度： 超15T Token数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。 与此同时，在实际应用层面上，另一个热点话题也浮出水面： 资源有限场景下...
-
模糊图像重建重大进展！DeblurGS：相机位姿不准也能极致渲染！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 尽管在从运动模糊图像中重建清晰的3D场景方面取得了重大进展，但向现实世界应用的过渡仍然具有挑战性。主要障碍源于严重的模糊，这导致通过“Structure-from-M...
-
LLM 安全 | 大语言模型应用安全入门
一、背景 2023年以来，LLM 变成了相当炙手可热的话题，以 ChatGPT 为代表的 LLM 的出现，让人们看到了无限的可能性。ChatGPT能写作，能翻译，能创作诗歌和故事，甚至能一定程度上做一些高度专业化的工作，比如法律服务和医疗诊断咨询。...
-
股价飙升！商汤大模型挑战GPT4
4月24日，商汤集团在港交所暂停交易前股价上涨31.15%。商汤集团表示，其大模型日日新5.0发布会受到市场极大关注，公司将进一步刊发相关公告。在“2024年商汤技术交流日”上，商汤发布了其最新的大模型——SenseNova5.0，旨在追赶GPT-4，这反...
-
揭秘腾讯混元大模型：400+场景落地，协作SaaS产品全面接入
进入2024，大模型的风向变了。 当初“百模大战”时，只要简单粗暴拿个Demo搞MaaS（模型即服务），也就是让用户直接和大模型交互就足以上牌桌。 但现在，精耕细作搞应用，无论是原生AI应用，还是在已有产品上整合AI功能，成了最新潮流趋势。 就连一向低调神...
-
《这就是ChatGPT》登顶微信读书热搜榜第一名
今日，据微信读书热搜榜显示，《这就是ChatGPT》登顶微信读书热搜榜第一名。 据悉，《这就是 ChatGPT》是一本由 [美] 斯蒂芬・沃尔夫拉姆（Stephen Wolfram）于2023年7月出版的图书，由人民邮电出版社出版。 该书主要介绍了 Op...
-
华为开发者大会定档 将发布盘古大模型5.0
华为开发者大会定于6月21日至23日在东莞松山湖盛大举行，届时将见证盘古大模型5.0与HarmonyOS NEXT鸿蒙星河版的首次同台展示。 盘古大模型系列，作为华为精心打造的一系列预训练大模型，涵盖了自然语言处理（NLP）、计算机视觉(CV 以及科学计算...
-
与纯血鸿蒙同台亮相！华为盘古大模型5.0六月发布
快科技4月25日消息，华为开发者大会（HDC 2024）将于6月21日-23日在东莞松山湖举办，这将是华为史上规模最大的开发者大会。 邀请函显示，华为将在大会上重磅发布盘古大模型5.0，并将和纯血鸿蒙”HarmonyOS NEXT鸿蒙星河版首次同台亮相。...
-
AI视频生成工具ID-Animator：可保持角色一致生成视频动画
近年来，生成具有指定身份的高保真人类视频引起了广泛关注。然而，现有技术在训练效率和身份保持之间往往难以取得平衡，要么需要繁琐的逐案微调，要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法，可以在无需...
-
苹果卷开源大模型，公开代码、权重、数据集、训练全过程，OpenELM亮相
要说 ChatGPT 拉开了大模型竞赛的序幕，那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中，苹果似乎掀起的水花不是很大。 不过，苹果最新放出的论文，我们看到其在开源领域做出的贡献。 近日，苹果发布了 OpenELM，共四种变...
-
AI信任危机之后，揭秘预训练如何塑造机器的「可信灵魂」
图表 1: 大模型的通用训练流程 [1] 在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计...
-
挑战拯救痴心“舔狗”，我和大模型都尽力了
天降猛男，大模型化身为 “痴情男大”，等待人类玩家的拯救。 一款名为 “拯救舔狗” 的大模型原生小游戏出现了。 游戏规则很简单:如果玩家在几轮对话内说服 “他” 放弃追求对他并无青睐的女神，就算挑战成功。 听起来并不难，然而游戏源于生活，模型人设是痴情属...