-
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。 这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模...
-
AI视野：Midjourney开始训练视频模型；文心一言用户破亿；优酷上线“AI搜片”功能；快手开源KwaiAgents系统
???AI新鲜事 Midjourney开始训练视频模型 Midjourney昨晚发布了重要消息，将开始视频模型训练，同时计划下周推出V6版本的重大更新。该更新将在文本处理方面有显著进步，提高内容连贯性和提示准确性。重点改进包括Inpainting功能和全新...
-
微软推大模型整合性工具库PromptBench
微软最近推出了一个专门用于评估大语言模型的整合性工具库，名为PromptBench。该工具库提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击等，以支持研究人员从不同方面对LLMs进行评估和分析。 项目地址:https:/...
-
一文读懂分类模型评估指标
模型评估是深度学习和机器学习中非常重要的一部分，用于衡量模型的性能和效果。本文将逐步分解混淆矩阵，准确性，精度，召回率和F1分数。 混淆矩阵 混淆矩阵是在分类问题中用于评估模型性能的表格，它展示了模型对样本的分类情况。混淆矩阵的行表示实际类别，列表示预...
-
2024 年数据管理在人工智能中的四大趋势
在 2023 年即将结束之际，我们会发现随着 ChatGPT 的引入，世界发生了不可逆转的变化。人工智能的主流化继续以强劲势头推进，我们如何应对这些不断变化的时代需要信念的飞跃。人工智能可能同时具有潜在的变革性和不准确性！但我们的未来不仅仅是人工智能，因...
-
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。在一些关键业务指标方面，取得了显著的成效，例如： 效率相关部门的合作，多维度打标总正确率取得 2 倍以上提升。利用大模型开辟了新的业务，提升了效...
-
阿里云赵大川：弹性计算推理解决方案拯救 AIGC 算力危机
云布道师 本篇文章围绕弹性计算推理解决方案 DeepGPU 实例如何支持 Stable Diffusion 文生图推理、Stable Diffusion 推理演示示例等相关话题展开。 赵大川 阿里云弹性计算高级技术专家 GPU 云服务器推理解决方案...
-
机器学习模型性能的十个指标
尽管大模型非常强大， 但是解决实践的问题也可以不全部依赖于大模型。一个不太确切的类比，解释现实中的物理现象，未必要用到量子力学。有些相对简单的问题，或许一个统计分布就足够了。对机器学习而言， 也不用言必深度学习与神经网络，关键在于明确问题的边界。 那么在...
-
Point Transformer V3：更简单、更快、更强!
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：Point Transformer V3: Simpler, Faster, Stronger 论文链接：https://arxiv.org/pdf/2312.10035.pdf 代码链接：h...
-
阿里团队推新AI模型I2VGen-XL：单张静止图像就能生成高质量视频
视频合成最近取得了显著的进步，这得益于扩散模型的快速发展。然而，它在语义准确性、清晰度和时空连续性方面仍然存在挑战。它们主要源于文本-视频数据的稀缺性和视频的复杂固有结构，使得模型难以同时确保语义和定性的卓越性。 阿里巴巴、浙江大学和华中科技大学的研究人员...
-
CMU权威对比Gemini，GPT-3和Mistral8×7B！GPT-3.5依旧拿捏Gemini，开源模型差距依然不小
谷歌最近发布的Gemini掀起了不小的波澜。 毕竟，大语言模型领域几乎是OpenAI的GPT一家独大的局面。 不过作为吃瓜群众，当然希望科技公司都卷起来，大模型都打起来！ 所以，作为科技巨无霸谷歌的亲儿子，Gemini自然承受了很高的期待。 虽然Gemi...
-
LLaMA系列模型
1.LLama 1.1 简介 Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA 2023年2月，Meta（原Facebook）推出了LLaMA大模型，使用了1.4...
-
研究揭示：谷歌Gemini Pro在基准测试中落后于免费ChatGPT
根据卡内基梅隆大学的最新研究报告，谷歌最新推出的大型语言模型Gemini Pro在基准测试中未能达到预期水平，不仅落后于GPT-3.5，还远远不及GPT-4。 Gemini Pro的研究结果与谷歌在Gemini发布会上所提供的信息相矛盾，凸显了对中立基准测...
-
摸底谷歌Gemini：CMU全面测评，Gemini Pro不敌GPT 3.5 Turbo
前段时间，谷歌发布了对标 OpenAI GPT 模型的竞品 ——Gemini。这个大模型共有三个版本 ——Ultra（能力最强）、Pro 和 Nano。研究团队公布的测试结果显示，Ultra 版本在许多任务中优于 GPT4，而 Pro 版本与 GPT-3...
-
Gemini自曝文心一言牵出重大难题，全球陷入高质量数据荒？2024年或将枯竭
谷歌Gemini，又出丑闻了！ 昨天上午，网友们激动地奔走相告：Gemini承认自己是用文心一言训练中文语料的。 国外大模型用中国模型产生的中文语料训练，这听起来就是个段子，结果段子竟然成现实了，简直魔幻。 微博大V「阑夕」夜亲自下场，在Poe网站上实...
-
ChatGPT构建离不开PyTorch，LeCun言论引热议，模型厂商不开放权重原来为此
这两天，有关开源的话题又火了起来。有人表示，「没有开源，AI 将一无所有，继续保持 AI 开放。」这个观点得到了很多人的赞同，其中包括图灵奖得主、Meta 首席科学家 Yann LeCun。 想象一下，如果工业界的 AI 研究实验室仍然封闭、没有开源代码...
-
GPT-4.5秘密解禁？网友灰度测试全网热议，OpenAI研究员回应全是幻觉
GPT-4.5，难道已经瞒着我们悄悄上线了？ 最近，许多网友都发现了一件令人震惊的事情。 图片 如果问ChatGPT「你在API里是如何命名的」，它居然会回答，自己的名字是「gpt-4.5-turbo」！ 图片 而且，不少网友都有类似的发现： 图片 图片...
-
人工智能中的文本分类：技术突破与实战指导
在本文中，我们全面探讨了文本分类技术的发展历程、基本原理、关键技术、深度学习的应用，以及从RNN到Transformer的技术演进。文章详细介绍了各种模型的原理和实战应用，旨在提供对文本分类技术深入理解的全面视角。 关注TechLead，分享A...
-
24 LLM错误代码补全：机器学习顶会NeurIPS‘23 智能体评估：自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
Large Language Models of Code Fail at Completing Code with Potential Bugs 写在最前面 论文名片 对于命名实体识别、关系抽取任务的启发 课堂讨论 实验 自己构建的数据集...
-
推荐几款AI写作生成器，大家都在用的AI写作生成器
在当今信息爆炸的时代，高效地生成优质文本变得愈发重要。本文将深入探讨AI写作生成器的种类、工具大全，以及改写方法，为您提供在众多工具中做出明智选择的指导。无论您是从事内容创作、文案编辑，还是需要处理大量文本信息的专业人士，本文都将为您提供有益的见解。...
-
微软小模型击败大模型：27亿参数，手机就能跑
上个月，微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源，在常识推理、语言理解和逻辑推理方面的性能显著改进。 今天，微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参...
-
Hugging News #0814: Llama 2 学习资源大汇总
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣...
-
全方位、无死角的开源，邢波团队LLM360让大模型实现真正的透明
开源模型正展现着它们蓬勃的生命力，不仅数量激增，性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹：「开源人工智能模型正走在超越专有模型的路上。」 专有模型在技术性能和创新能力上展现了非凡的力量，但是它们不开源的性质成为 LLM 发...
-
2.7B能打Llama 2 70B，微软祭出「小语言模型」！96块A100 14天训出Phi-2，碾压谷歌Gemini nano
大模型现在真的是越来越卷了！ 11月OpenAI先是用GPTs革了套壳GPT们的命，然后再不惜献祭董事会搏了一波天大的流量。 谷歌被逼急了，赶在年底之前仓促发布了超大模型Gemini，卷起了多模态，甚至不惜「视频造假」。 就在今天，微软正式发布了曾在11...
-
LLaMA(大规模机器学习和分析)
LLaMA(大规模机器学习和分析 是一个先进的软件平台，是Meta 推出 AI 语言模型 LLaMA，一个有着 上百亿数量级参数的大语言模型用于大规模部署和管理机器学习模型。借助LLaMA，组织可以高效地在大型数据集上训练和部署模型，缩短投放市场的...
-
ChatGPT模型在神经学考试中表现出色，超越人类学生水平
近期发表在JAMA Network Open期刊的一项研究中，研究人员评估了两个ChatGPT大型语言模型（LLMs）在回答美国精神病学和神经学委员会问题库的问题时的表现。他们比较了这两个模型在低阶和高阶问题上的结果与人类神经学生的表现。研究发现，其中一个...
-
像调鸡尾酒一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。 一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务...
-
外包数据注释服务如何增强人工智能模型？
在人工智能(AI 和机器学习(ML 领域，基础在于数据，数据的质量、准确性和深度直接影响人工智能系统的学习和决策能力。数据有助于丰富机器学习算法数据集的数据注释服务，对于教导AI系统识别模式、做出预测和提高整体性能至关重要。 通过高质量数据注释为ML模...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
“大海捞针”实验验证RAG+GPT-4 Turbo模型卓越性能 只需4%的成本
近期的“大海捞针”实验揭示了RAG+GPT-4Turbo模型的卓越性能，只需4%的成本，便能在生成响应时实现卓越的准确性。这标志着大型模型领域的一次重要突破。 在这个实验中，研究者使用了三种基本技术，包括上下文窗口填充、RAG（检索增强生成）和微调，以使L...
-
高考测试成绩接近满分！夸克自研大模型通过备案
快科技12月8日消息，据国内媒体报道，日前，阿里智能信息事业群自研的夸克大模型已通过备案，将陆续在通识、健康、创作等领域升级内容产品与智能工具，落地一系列 AIGC 应用。 夸克相关负责人表示，夸克大模型是面向搜索、生产力工具和资产管理助手的应用型大模型。...
-
视觉CV-AIGC一周最新技术精选(2023-11)
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models https://github.com/mbzuai-oryx/Video-LLaVA 将基于图像的大型多模态模型（LMM）扩...
-
确定数据分布正态性的11种基本方法
在数据科学和机器学习领域，许多模型都假设数据呈现正态分布，或者假设数据在正态分布下表现更好。例如，线性回归假设残差呈正态分布，线性判别分析（LDA）基于正态分布等假设进行推导。 因此，了解如何测试数据正态性的方法对于数据科学家和机器学习从业者至关重要。...
-
思维链提出者Jason Wei：关于大模型的6个直觉
还记得 Jason Wei 吗?这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI 研...
-
思维链提出者Jason Wei：关于大模型的六个直觉
还记得 Jason Wei 吗？这位思维链的提出者还曾共同领导了指令调优的早期工作，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
大模型版“5年高考3年模拟”来了！6141道数学题，还是多模态的那种
大模型的“5年高考3年模拟”数学题来了，还是加强强强版！ 微软、加州大学洛杉矶分校（UCLA）、华盛顿大学（UW）联合打造全新多模态数学推理基准数据集。 名为“MathVista”。 涵盖各种题型共6141个问题，来源于28个现有的多模态数据集和3个新标...
-
GPT-4 未通过图灵测试，GPT-3.5 还败给六十年前的老 AI 系统，最新研究出炉！
过去一年间，能说会道的ChatGPT、最新的 GPT-4大模型，其能力也已超乎很多人的想象，一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远? 近日，一篇由加州大学圣迭戈分校的...
-
性能直追GPT-4，5000个H100训成！DeepMind联创发全新一代大模型
最近，InflectionAI发布了全新的一款AI模型。 更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。 到底是什么样的表现让InflectionAI能夸下如此海口呢？ 在介绍...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
机器学习 - 混淆矩阵：技术与实战全方位解析
本文深入探讨了机器学习中的混淆矩阵概念，包括其数学原理、Python实现，以及在实际应用中的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估，并提出了多个独特的技术洞见。文章旨在为读者提供全面而深入的理解，从基础到高级应用。...
-
文字序顺不响影GPT-4阅读理解，别的大模型都不行
研表究明，汉字序顺并不定一影阅响读（对于英文来说，则是每一个单词中的字母顺序）。 现在，日本东京大学的一项实验发现，这个“定理”居然也适合GPT-4。 比如面对这样一段“鬼画符”，几乎里面每一个单词的每一个字母都被打乱： oJn amRh wno het...
-
一言不合就跑分，国内AI大模型为何沉迷于“刷榜”
“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。同理在PC处理器、显卡上，同样也有相应的跑分软件来衡量它们的性能。 既然“万物皆可跑分”，...
-
AIGC时代，大模型微调如何发挥最大作用？
人工智能的快速发展推动了大模型的广泛应用，它们在语言、视觉、语音等领域的应用效果已经越来越好。但是，训练一个大模型需要巨大的计算资源和时间，为了减少这种资源的浪费，微调已经成为一种流行的技术。微调是指在预训练模型的基础上，通过在小数据集上的训练来适应新的任...
-
北大最新多模态大模型开源：在混合数据集上训练，无需修改直接用到图像视频任务
训完130亿参数通用视觉语言大模型，只需3天！ 北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。 利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。 具体而言，团队按照提出的新框架...
-
斯坦福华人博士文生视频Pika 1.0爆火！4人公司估值2亿，OpenAI联创参投
【新智元导读】仅有四人的初创公司，已经融资5500万美元，融资名单几乎集齐了硅谷的半壁江山，半年用户超50万，今天，Pika1.0闪亮登场，电影级特效震撼全网。 Runway Gen-2最强竞品Pika，暌违半年忽然放出大招——Pika1.0正式发布! 仅...
-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...