-
今日Arxiv最热NLP大模型论文:Llama-2上下文扩大48倍的方法来了,港大发布,无需训练
引言:大语言模型的长上下文理解能力 在当今的人工智能领域,大语言模型(Large Language Models,简称LLMs)的长上下文理解能力成为了一个重要的研究方向。这种能力对于模型来说至关重要,因为它使得LLMs能够有效地应对各种应用场景,例如在...
-
和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异
3 月 28 日消息,根据 LMSYS Org 公布的最新基准测试报告,Claude-3 得分以微弱优势超越 GPT-4,成为该平台“最佳”大语言模型。 IT之家首先介绍下 LMSYS Org,该机构是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内...
-
DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5
最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型,还在效率上有所突破。DBRX的基础和微调版本均已发布,为研究和商业应用提供了丰富的资源。 GitHub 链接:https:/...
-
Hume AI发布对话AI——EVI:具备情感感知能力
Hume AI近日发布了一款具有情感感知能力的对话AI:EVI,这款产品采用了一种被称为情感大语言模型(eLLM)的多模态生成AI技术。 情感大语言模型(eLLM)是一种结合了大型语言模型(LLMs 的语言理解能力和表情测量技术的情感感知能力的新技术。这种...
-
深夜里,女朋友给我讲解AI大语言模型的技术原理,搞得我又失眠了
随着ChatGPT的横空出世,各种大模型如雨后春笋一般涌现。女朋友最近研究了大模型,准备深夜给我讲解技术原理。可是我真的好困啊,但她说,AI最近那么火,你确定不想学习下吗? 她说,大语言模型是一种人工智能技术,它可以理解和生成人类语言。这种模型的技术原...
-
谷歌推出”自我发现“框架,极大增强GPT-4等大模型推理能力
随着ChatGPT的出现,大语言模型在生成连贯文本和遵循指令方面获得了巨大技术突破。然后在推理和解决复杂内容方面,面临内容不准确、安全等难题。 谷歌Deepmind和南加州大学的研究人员提出了“SELF-DISCOVER”。这是一种用于大语言模型的通用框架...
-
前谷歌工程师创业造AI芯片,要比英伟达好十倍!已融资2500万美元
3月28日消息,英伟达在AI芯片市场的主导地位激发了其他公司自主设计芯片的决心。尽管从头开始设计芯片充满挑战,耗时多年且成本高昂,通常以失败告终,但人工智能的巨大潜力驱使业界人士勇敢尝试。 在这一背景下,两位前谷歌工程师共同创立了MatX。他们利用在谷...
-
近屿智能成功完成A轮融资,打造独家AIGC工程师与产品经理学习路径图引发热议
近屿智能OJAC的发展历程与行业实力 在2024年1月,上海近屿智能科技有限公司(简称近屿智能)宣布成功完成A轮融资。智望资本作为领头投资者,金沙江创投也参与了增资。这一里程碑事件不仅突显了近屿智能在人力资源技术领域的领先地位,也显示了投资者对其技术实力...
-
智能体DS-Agent基于案例推理,让GPT-4数据科学任务接近100%
在大数据时代,数据科学覆盖了从数据中挖掘见解的全周期,包括数据收集、处理、建模、预测等关键环节。鉴于数据科学项目的复杂本质以及对人类专家知识的深度依赖,自动化在改变数据科学范式方面拥有极大的发展空间。随着生成式预训练语言模型的兴起,让大语言模型智能体处理...
-
新研究:大语言模型“涌现”能力不令人惊讶也不难预测
3月26日消息,一项新的研究认为,大语言模型性能的显著提升并不令人意外,也并非无法预测,实际上这是由我们衡量人工智能性能的方式所决定的。 两年前,450位研究人员在一个名为超越模仿游戏基准(Beyond the Imitation Game Bench...
-
通用图大模型HiGPT:一己之力建模任何图结构关系!来自港大数据智能实验室&百度
一个模型建模所有图结构关系—— 香港大学数据智能实验室最新图结构大模型来了。 它叫HiGPT,由GraphGPT原班人马打造。 后者是将图数据与大模型结合的代表方法之一: 通过用图指令微调将图数据与大模型对齐,在下游任务上一度彰显了惊人的泛化性(Zero...
-
利用MindsDB和Anyscale微调Mistral 7B模型
在我们为面向客户的聊天应用制作大语言模型 (LLM 时,预训练模型往往是很好的起点,但随着时间的推移,您可能希望去控制该模型聊天的整体行为和给客户带去的“感觉”,而不仅仅由基本模型所能提供。对此,我们虽然可以通过提示工程(prompt engineeri...
-
公司即将在AI上浪费数十亿美元,如何避免成为其中之一
“这是风险投资,不是冒险资金。”这是一位亲爱的朋友曾经在提出一个想法时从一位风投那里得到的充满爱意的回应,但当我们处于一项新技术的炒作周期阶段时,这种谨慎就不复存在了。毕竟,风投公司必须动用他们筹集的所有资金,错过一家大公司的成本要高于摇摆和错失的负面...
-
离职谷歌的Transformer作者创业,连发3个模型(附技术报告)
去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。其中,Llion Jones 是谷歌 2017 年经典研究论文《Attention is all you n...
-
清华微软开源全新提示词压缩工具,长度骤降80%!GitHub怒砍3.1K星
在自然语言处理中,有很多信息其实是重复的。 如果能将提示词进行有效地压缩,某种程度上也相当于扩大了模型支持上下文的长度。 现有的信息熵方法是通过删除某些词或短语来减少这种冗余。 然而,作为依据的信息熵仅仅考虑了文本的单向上下文,进而可能会遗漏对于压缩至关...
-
文心一言使用指南
文心一言是一款由百度推出的大语言模型,基于百度自主研发的知识和语义理解技术。以下是文心一言的使用指南: 1. 注册登录:首先,你需要注册并登录百度账号。如果你已经拥有百度账号,可以直接登录。 2. 创建实例:在百度AI开放平台(***/),选择“产品服...
-
一图揽尽全球LLM崛起之路;LLM概念速查清单;DALL·E提示词红宝书·在线版;fast.ai新课带你从零实现Stable Diffusion | ShowM
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 👀 LLM 崛起之路:全球大语言模型「规模增长」可视化交互图 informationisbeautiful.net/visualizati…...
-
谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
谷歌DeepMind的研究人员推出了一种面向3D环境的通用AI代理——SIMA。 SIMA无需访问游戏的源代码,也不需要定制的API。只需要输入图像和用户提供的简单自然语言文本指令,SIMA就能像人类玩家一样执行走路、跑步、建造、打开地图等各种游戏中的操作...
-
英伟达推出NeMo,极大简化自定义生成式AI开发
为了帮助全球开发者、企业更好的开发定制大模型和生成式AI产品,例如,聊天机器人、编程代码助手等。 NVIDIA宣布推出了NeMo Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理...
-
【文心一言】获取统计数据以及自动计算增长率,非常不错的一个使用例子
欢迎来到《小5讲堂》 大家好,我是全栈小5,这是《文心一言》系列文章 温馨提示:博主能力有限,理解水平有限,若有不对之处望指正! 目录 前言 搜索内容 输入内容 输出内容 界面效果 优化输入内容 输入内容 输出内容 界面效果...
-
百度智能云发布ERNIE Speed、Lite、Tiny 3款轻量级大模型
百度智能云近期举办了盛大的千帆产品发布会,会上重点发布了三款轻量级大模型,它们分别是ERNIE Speed、ERNIE Lite以及ERNIE Tiny。相较于那些拥有千亿级别参数的大模型,这些轻量级大模型显著减少了参数量,因此更加便于客户针对特定应用场景...
-
为何大语言模型不会取代码农?
译者 | 布加迪 审校 | 重楼 生成式人工智能(GenAI)会取代人类程序员吗?恐怕不会。不过,使用GenAI的人类可能会取代程序员。但是如今有这么多的大语言模型(LLM),实际效果不一而足。 如果您在努力跟上所有LLM,并非只有您一个人。我们目睹一...
-
快手程一笑:快意大模型或在半年内达 GPT4.0 水平
今日,快手公司发布了其2023年第四季度及全年业绩报告,数据显示,快手在2023年全年实现了显著的收入增长,总收入高达1134.7亿元,同比增长了20.5%。更值得一提的是,经过调整后,快手的净利润首次突破了百亿元大关,达到了102.7亿元。 在随后的业绩...
-
快手CEO程一笑:自研大模型有信心半年内达GPT4.0水平
快科技3月20日消息,今日,快手发布2023年第四季度及全年业绩,2023全年总收入达1134.7亿元,同比增长20.5%,经调整净利润首次超百亿达102.7亿元。 据媒体报道,在快手业绩电话会上,快手创始人兼CEO程一笑透露,2023年公司启动AI战略后...
-
库克在中国首谈苹果生成式AI 今年晚些时候推出
今日,苹果公司CEO蒂姆・库克亲临上海,就一系列话题与媒体进行了交流。 其中,针对提问:“iPhone在人工智能领域取得了哪些进展?”库克详尽地回应称,AI技术已深入渗透至苹果产品的众多功能中。举例来说,Apple Watch的摔倒检测功能以及iPhone...
-
Ai绘画工具,Stable Diffusion Lora使用攻略
一、Lora是什么 LoRA,英文全称Low-Rank Adaptation of Large Language Models,直译为大语言模型的低阶适应,这是微软的研究人员为了解决大语言模型微调而开发的一项技术。 可以理解为Stable-Diffus...
-
如何从头开始编写LoRA代码,这有一份教程
LoRA(Low-Rank Adaptation)作为一种用于微调 LLM(大语言模型)的流行技术,最初由来自微软的研究人员在论文《 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 》中提出。不同于其...
-
亚马逊云科技与英伟达扩展合作 加速超万亿参数级大模型训练
亚马逊云科技与英伟达扩展合作,加速生成式 AI 创新。双方将在亚马逊云科技上提供 NVIDIA Blackwell 架构 GPU,包括 GB200Grace Blackwell 超级芯片和 B100Tensor Core GPU,以帮助客户解锁新的生成式...
-
百万token上下文窗口也杀不死向量数据库?CPU笑了
“Claude 3、Gemini 1.5,是要把RAG(检索增强生成)给搞死了吗?” 随着新晋大语言模型们的上下文窗口(Context Window)变得越发得长,业界人士针对“RAG终将消亡”观点的讨论也是愈演愈烈。 之所以如此,是因为它们二者都是为...
-
近屿智能成功获得A轮资金,其首创的AIGC工程师与产品经理学习路径图引起业界广泛关注。
2024年1月,上海近屿智能科技有限公司(简称近屿智能)宣布其A轮融资圆满成功,智望资本作为领投方,金沙江创投也进行了追加投资。这一轮融资的成功,标志着近屿智能在AIGC技术领域的领先地位获得了业界的广泛认可,并反映了投资者对其技术实力和未来增长潜力的充分...
-
全球首个基于大语言模型的自动驾驶语言控制模型
Arxiv论文链接:https://arxiv.org/abs/2312.03543项目主页:https://github.com/Petrichor625/Talk2car_CAVG 近年来,工业界和学术界都争先恐后地研发全自动驾驶汽车(AVs)。尽...
-
巨人网络:计划构建 AI 游戏开发平台 降低开发门槛
巨人网络表示,在2024年春季招聘中首次重点招募 AI 算法实习生,标志着公司在游戏和人工智能深度融合领域的新动向。招聘对象为2025届海内外高校在校生,涵盖多个技术岗位,旨在培养新一代游戏 AI 人才加速公司发展。 招聘涉及游戏策划、技术、美术、市场运营...
-
英伟达发布最强AI加速卡 大语言模型性能比H100提升30倍
英伟达在 GTC 开发者大会上发布了最强 AI 加速卡 Blackwell GB200,计划今年晚些时候发货。 GB200采用新一代 AI 图形处理器架构 Blackwell,其 AI 性能可达20petaflops,比之前的 H100提升了5倍。每个 B...
-
NVIDIA大语言模型落地的全流程解析
包括三部分内容: 第一部分是关于 NeMo Framework。NeMo Framework 是 NVIDIA 大语言模型的全栈解决方案,它通过不同组件完成生成式 AI 各个环节的任务,包括数据预处理、分布式训练、模型微调、模型推理加速及部署(Ten...
-
无需训练,Fast-DetectGPT让文本检测速度提升340倍
大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利,但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT,无需训练,直接使用开源小语言模型检测各种大...
-
【AIGC调研系列】embeding模型有哪些,各有什么优势
在AIGC中,Embedding模型是一种将文本数据转换为多维向量数组的技术,这些向量可以代表任何事物,如文本、音乐、视频等[2]。有几种不同的Embedding模型,它们各有其优势和应用领域。 Word2vec:这是一种经典的嵌入模型,通过学习单词...
-
联想moto X50 Ultra AI手机官宣:首批搭载第三代骁龙8s
快科技3月18日消息,联想宣布,联想moto X50 Ultra AI手机首批搭载第三代骁龙8s移动平台,带给用户AI 性能的甜点体验”。 从命名来看,联想moto X50 Ultra AI手机主打的功能是AI”。 想要承载AI技术,一方面需要手机在硬件上...
-
硬刚“CloseAI”,马斯克如期开源Grok,最大开源大语言模型一夜易主!
编辑 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 开源了! 3月11日,马斯克曾发表了一篇“字少事大”的推文,并且设为了置顶。就一句话:xAI要在本周开源自家聊天机器人 Grok了。 消息一出,关注着Musk VS. Ope...
-
高通推出第三代骁龙8s移动平台 支持100亿AI参数模型
今日,高通技术公司震撼发布全新旗舰级移动平台——第三代骁龙®8s,为Android旗舰智能手机市场注入了全新活力。这款平台不仅继承了骁龙8系平台广受欢迎的特性,更在多个方面实现了显著升级,为用户带来前所未有的顶级移动体验。 在第三代骁龙8s上,我们看到了诸...
-
全球最大开源大模型!马斯克正式开源Grok AI
马斯克此前曾宣布,开源Grok的举措将于本周实施。现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok——模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出——以及其他相关文档,并将模型的副本...
-
迄今最大!马斯克AI大模型Grok开源:参数量达3140亿
快科技3月18日消息,据媒体报道,马斯克的AI创企xAI正式宣布其大语言模型Grok-1已实现开源,并向公众开放下载。 据了解,Grok-1是一款基于混合专家系统(Mixture-of-Experts,MoE)技术构建的大语言模型,拥有3140亿参数,远超...
-
超详细!AIGC面试系列 大模型基础(1)
关于我 从2022年末开始接触AIGC,便一直紧跟最近技术与实践落地。期间参与copilot项目研发,落地了多个垂类AIGC大模型应用,熟悉各种AIGC相关技术如Agent,Langchain,chatdoc,向量数据库等。 关于本系列 请你认真看完...
-
【AIGC调研系列】大模型的system prompt破解方法汇总
本文不提供具体方法,只汇总!!! 大模型的system prompt破解方法主要包括提示注入(prompt injection)、命令注入、提示自动迭代精炼(Prompt Automatic Iterative Refinement, PAIR)等技术。...
-
AIGC爆火一年来,哪些应用令人眼前一亮?
一年前,ChatGPT 4.0推出,人工智能在理解和创造复杂信息方面的能力达到了新的高度。紧随其后,众多科技公司也纷纷推出了自己的大语言模型。“百模大战”一触即发,这场竞争不仅推动了技术的快速发展,也激发了公众对人工智能潜力的广泛兴趣。 在这样的背景下,...
-
全球第一家!英伟达将推出生成式AI专业认证
快科技3月14日消息,英伟达官方宣布,将在GTC大会上推出一项新的生成式AI专业认证,助力开发者在AI领域证明自身技术实力。 英伟达表示,生成式AI正在全球范围内掀起行业变革浪潮,然而此方面的人才稀缺,技术人员需要不断学习和提升,从而能够更充分地利用这项技...
-
用大模型测试人格/抑郁/认知模式!通过游戏剧情发展测量心理特质
心理测量在精神健康、自我了解、和个人发展方面都发挥着重要的作用。 传统的心理测量范式以自我报告类型的问卷为主,常常通过参与者回忆自己的日常生活行为模式或情绪状态进行测量。 这样的测量方式虽然高效便捷,但可能引发参与者的抗拒心理,降低被测意愿。 随着大语言...
-
谷歌AI接连翻车!创始人谢尔盖·布林回归狠批:测试不彻底
快科技3月12日消息,谷歌在AI大模型产品上接连失利,已退隐江湖4年、谷歌联合创始人之一谢尔盖布林(Sergey Brin)不得不亲赴前线。 在近日的一场以谷歌旗下大模型Gemini 1.5为主题的黑客松活动上,Brin对一系列产品进行了回应。 在近40分...
-
刚刚,马斯克xAI官宣开源自家大模型Grok!网友:现压力给到了OpenAI
马斯克又给OpenAI上压力了! 今天,马老板郑重宣布要在本周开源自己的大模型Grok。 毕竟马斯克起诉OpenAI的理由是「OpenAI违背了最初对开源、非营利人工智能的承诺」,这节骨眼上把Grok开源算是成功占领道德高地。 这下我再说你是「Clos...
-
把字节当成token,清华和微软刚掏出来的bGPT到底什么来头
相信你或多或少对GPT有一定的了解,但我赌你没听说过bGPT。bGPT的意思是byte GPT,即字节GPT。这是一种专门设计用于处理二进制数据和模拟数字世界的深度学习模型。简单概括,bGPT突破了传统语言模型的局限,能够直接理解和操作二进制数据,拓展了深...
-
参照人类大脑,学会忘记会让AI大模型变得更好?
计算机科学家团队近期开发出一种更敏捷更具弹性的机器学习模型,它们可以周期性忘记已知信息,而现有大语言模型不具备忘却能力。 实测表明,在很多情况下,“忘却法”的训练效率很高,忘却型模型表现也会更好。韩国基础科学研究院(Institute for Basi...