-
Meta推动全球AI助手革命:Llama 3引领技术前沿,Meta AI助手全面融入社交媒体平台
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同...
-
首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升
在过去的几年里,Transformer架构在自然语言处理(NLP)、图像处理和视觉计算领域的深度表征学习中取得了显著的成就,几乎成为了AI领域的主导技术。 然而,虽然Transformer架构及其众多变体在实践中取得了巨大成功,但其设计大多是基于经验的,...
-
快速学会一个算法,CNN
今天给大家分享一个超强的算法,CNN 卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,广泛应用于图像和视频分析、自然语言处理和其他相关领域。CNN 通过模拟生物视觉系统的处理方式,能够自动学习数据的层次...
-
LLM | Yuan 2.0-M32:带注意力路由的专家混合模型
图片 一、结论写在前面 Yuan 2.0-M32,其基础架构与Yuan-2.0 2B相似,采用了一个包含32位专家的专家混合架构,其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器,以更高效地选择专家,相比采用经典路由网络的模型,其准...
-
重磅 Llama-3最强开源大模型惊艳亮相
重磅!Llama-3,最强开源大模型正式发布! 202年4 月 19 日,Meta 发布开源大模型 Llama-3,助力研究人员和开发者推进语言 AI 的界限。 强大的语言模型Llama-3推出,拥有80亿...
-
把整个地球装进神经网络,北航团队推出全球遥感图像生成模型
北航的研究团队,用扩散模型“复刻”了一个地球? 在全球的任意位置,模型都能生成多种分辨率的遥感图像,创造出丰富多样的“平行场景”。 而且地形、气候、植被等复杂的地理特征,也全都考虑到了。 受Google Earth启发,北航的研究团队从俯拍视角出发,将...
-
CLIP当RNN用入选CVPR:无需训练即可分割无数概念|牛津大学&谷歌研究院
循环调用CLIP,无需额外训练就有效分割无数概念。 包括电影动漫人物,地标,品牌,和普通类别在内的任意短语。 牛津大学与谷歌研究院联合团队的这项新成果,已被CVPR 2024接收,并开源了代码。 团队提出名为CLIP as RNN(简称CaR)的新技...
-
RAG 架构如何克服 LLM 的局限性
检索增强生成促进了 LLM 和实时 AI 环境的彻底改造,以产生更好、更准确的搜索结果。 译自How RAG Architecture Overcomes LLM Limitations,作者 Naren Narendran。 在本系列的第一部分中,我重...
-
大模型到底有没有智能?一篇文章给你讲明明白白
生成式人工智能 (GenAI[1] 和大语言模型 (LLM[2] ,这两个词汇想必已在大家的耳边萦绕多时。它们如惊涛骇浪般席卷了整个科技界,登上了各大新闻头条。ChatGPT,这个神奇的对话助手,也许已成为你形影不离的良师益友。 然而,在这场方兴未艾的...
-
OpenAI CEO表示有足够数据培训下一代人工智能
OpenAI 的首席执行官 Sam Altman 在一次采访中强调了使用高质量数据来训练人工智能模型的重要性。他表示,无论是人类生成的数据还是合成数据,高质量数据对 AI 系统至关重要。 Altman 在 AI for Good Global Summi...
-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法(Preference learning algorithms,如RLHF和DPO)常用于引导大型语言模型(LLMs)生成更符合人类偏好的内容,但论文对其内部机制的理解仍有限。论文探讨了传统观点,即偏好学习训练模型通过...
-
Llama改进之——均方根层归一化RMSNorm
引言 在学习完GPT2之后,从本文开始进入Llama模型系列。 本文介绍Llama模型的改进之RMSNorm(均方根层归一化 。它是由Root Mean Square Layer Normalization论文提出来的,可以参阅其论文笔记1。 L...
-
CVPR 2024 | 前沿而相对小众!几个AIGC扩散模型diffusion应用一览
1、机器人规划/智能决策 SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution 扩散...
-
AI预测极端天气提速5000倍!微软发布Aurora,借AI之眼预测全球风暴
自人类有历史以来,就一直执着于预测天气,以各种方式破解「天空之语」,我们慢慢发现,草木、云层似乎都与天气有关,这不仅仅是因为人类从事生产的需要,也是人类想要对着大风歌唱、在月光下吟诗的需要。 《冰与火之歌》中的风雨歌师,就是通过歌声和吟唱来预测天气和风暴...
-
微软发布大规模大气基础模型Aurora,用AI预测全球极端天气
微软近日发布了首个大规模大气基础模型 Aurora,这一模型利用人工智能技术,能够预测全球范围内的极端天气事件。与当前数值预报系统相比,Aurora 的计算速度提高了约5000倍,拥有超高的准确率和效率。这一模型的发布标志着天气预测领域迎来了重大突破。...
-
AI训练数据的版权保护:公地的悲剧还是合作的繁荣?
GPT-4o内置声音模仿「寡姐」一案闹的沸沸扬扬,虽然以OpenAI发布声明暂停使用疑似寡姐声音的「SKY」的语音、否认曾侵权声音为阶段性结束。但是,一时间「即便是AI,也得保护人类版权」这一话题甚嚣尘上,更刺激起了人们本来就对AI是否可控这一现代迷思的...
-
Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集
众所周知,对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。 最近,AI 大牛 Andrej Karpa...
-
大规模语言模型--LLaMA 家族
LLaMA 模型集合由 Meta AI 于 2023 年 2 月推出, 包括四种尺寸(7B 、13B 、30B 和 65B 。由于 LLaMA 的 开放性和有效性, 自从 LLaMA 一经发布, 就受到了研究界和工业界的广泛关注。LLaMA 模型在开放基准...
-
OpenAI衍生公司人工智能模型 让机器人像人一样思考、学习
OpenAI曾于2021年夏天宣布解散其机器人团队,原因是缺乏足够的数据来训练机器人使用人工智能进行移动和推理。但三位来自OpenAI的早期研究科学家创立的初创公司Covariant,声称已经解决了这一难题。 Covariant AI系统的特点: 结合...
-
理解老司机,超越老司机!LeapAD:具身智能加持下的双过程自驾系统(上海AI Lab等)
本文经自动驾驶之心公众号授权转载,转载请联系出处。 论文信息 论文题目:Continuously Learning, Adapting, and, Improving: A Dual-Process Approach to Autonomous Dr...
-
微软ML Copilot框架释放机器学习能力
摘要:大模型席卷而来,通过大量算法模型训练推理,能根据人类输入指令产生图文,其背后是大量深度神经网络模型在做运算,这一过程称之为机器学习,本文从微软语言大模型出发,详解利用大型语言模型(Large Language Models, LLMs)解决实际机器学...
-
ChatGPT真能记住你的话吗?DeepMind与开源大佬揭示LLM记忆之谜
Django框架的创始人之一、著名开发者Simon Willison最近发表了一篇博客文章,核心观点是——虽然很多LLM看起来有记忆,但本质上是无状态函数。 文章地址:https://simonwillison.net/2024/May/29/trai...
-
不想炸薯条的Ilya和不送GPU的英伟达,Hinton最新专访:道路千万条,安全第一条
从谷歌离职一年之际,「人工智能教父」Hinton接受了采访。 ——也许是因为徒弟Ilya终于被从核设施中放了出来?(狗头) 视频地址:https://www.youtube.com/watch?v=tP-4njhyGvo 当然了,采访教父的小伙子也非等...
-
开源模型进展盘点:最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好?
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察,也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中,他盘点分析了 4 月份发布的四个主要新模型:Mix...
-
首个智慧城市大模型UrbanGPT,全面开源开放|港大&百度
时空预测技术,迎来ChatGPT时刻。 时空预测致力于捕捉城市生活的动态变化,并预测其未来走向,它不仅关注交通和人流的流动,还涵盖了犯罪趋势等多个维度。目前,深度时空预测技术在生成精确的时空模型方面,依赖于大量训练数据的支撑,这在城市数据不足的情况下显得...
-
Stable Diffusion 指定模型,Lora 训练全流程
简介 在使用 Stable Diffusion 的时候,可以选择别人训练好的 Lora,那么如何训练自己的 Lora呢? 本篇文章介绍了如何训练Lora,如何筛选模型,如何在 Stable Diffusion 中使用。 闲话不多说,直接实际操作吧。...
-
7B?13B?175B?解读大模型的参数
大模型也是有大有小的,它们的大小靠参数数量来度量。GPT-3就有1750亿个参数,而Grok-1更是不得了,有3140亿个参数。当然,也有像Llama这样身材苗条一点的,参数数量在70亿到700亿之间。 这里说的70B可不是指训练数据的数量,而是指模型中...
-
不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它
一般而言,训练神经网络耗费的计算量越大,其性能就越好。在扩大计算规模时,必须要做个决定:是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。 Scaling law 告诉我们:只要能适当地分配参数和数据,就能在固定计算预算下实...
-
一上线就爆火出圈!中文语音AI天花板ChatTTS官网上线
还记得之前给大家推荐的中文语音AI天花板ChatTTS吗?这个可平替 GPT-4o的文本转语音项目一上线就爆火出圈,短短几天就在GitHub上斩获了16.9K的Star 量。 而现在,ChatTTS正式上线了官网,所有用户都可以直接在线体验了。 主要功能...
-
时间序列分析的表示学习时代来了?
表示学习作为深度学习中的核心,近期越来越多的被应用到了时间序列领域中,时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。 1.Unsupervised Scalable Representa...
-
中国发布《生成式AI安全基本要求》,涵盖训练数据、生成内容等
全国网络安全标准化技术委员会在官网发布了,国家标准《网络安全技术 生成式人工智能服务安全基本要求》征求意见稿。 该意见稿一共分为《网络安全技术 生成式人工智能服务安全基本要求-标准文本》、意见汇总处理表和编制说明三大块。 其中,标准文本涵盖训练数据安全要求...
-
大型科技公司拥才有承担 AI 训练数据成本的能力
AI 的发展离不开数据,而这种数据的成本越来越高,这使得除了最富有的科技公司外,其他公司难以承担这一成本。根据去年 OpenAI 的研究人员 James Betker 的文章,AI 模型的训练数据是决定模型能力的关键因素。传统的 AI 系统主要是基于统计机...
-
多模态大模型不够灵活,谷歌DeepMind创新架构Zipper:分开训练再「压缩」
最近的一系列研究表明,纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征,从而成功地生成多种模态(如音频、图像或状态 - 动作序列)的新序列,从文本、蛋白质、音频到图像,甚至是状态序列。 能够同时生成多种模态输出的多模态模型一般是通过某...
-
LLM的「母语」是什么?
大语言模型的「母语」是什么? 我们的第一反应很可能是:英语。 但事实果真如此吗?尤其是对于能够听说读写多种语言的LLM来说。 对此,来自EPFL(洛桑联邦理工学院)的研究人员发表了下面这篇工作来一探究竟: 图片 论文地址:https://arxiv.or...
-
【AIGC调研系列】LLaVA++整合Phi-3和Llama-3能够实现什么
LLaVA++能够为Phi-3和Llama-3带来的主要好处包括: 视觉处理能力的增强:通过整合Phi-3和Llama-3模型,创建了具备视觉处理能力的Phi-3-V和Llama-3-V版本,这意味着这些模型现在能够理解和生成与图像相关的内容[1]。...
-
【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
Datawhale干货 作者:张帆,陈安东,Datawhale成员 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月19日凌晨,Meta在官网上官宣了Llama-3,作为继Llama-1、Llama-...
-
浅说文心一言
文心一言(ERNIE Bot)是一个基于Transformer结构的知识增强大语言模型,它可以根据用户的指令和输入,生成相应的回答或文本。以下是一些常见的指令示例,你可以根据需要进行调整: 问答指令: "请问什么是文心一言?" "文心一言和C...
-
生成式 AI 安全标准发布,覆盖训练数据和生成内容
中国网络安全标准化技术委员会官网发布了《网络安全技术 生成式人工智能服务安全基本要求》征求意见稿。该标准细化了对生成式人工智能服务的安全要求,包括训练数据安全、生成内容安全和模型安全要求。其中,针对训练数据,要求对数据来源进行管理和核验,提高数据来源的多样...
-
详解AI作画算法原理
引言 (1)背景介绍 AI作画,即利用人工智能技术进行艺术创作,近年来引起了广泛关注。随着计算机科学的发展,特别是深度学习和生成对抗网络(GAN)等技术的进步,AI作画从一个新颖的概念逐步走向实用化。AI作画的兴起可以追溯到早期的计算机艺术实验,如...
-
一键 input 苹果 OpenELM,零门槛 Llama 3 教程,40+ 优质模型/数据集/教程,建议收藏!...
现在 AI 行业什么最火? 「大模型」一定仍然排在前三甲的位置。 自从 2022 年底 ChatGPT 面世以来,大模型在各行各业已经带来了太多的惊喜,应用场景愈发丰富,同时也带动了相关底层技术的普及与普适化。尤其是在开源模型繁荣发展之下,无...
-
AIGC视频生成-CameraCtrl
0. 资源链接 论文: CameraCtrl: Enabling Camera Control for Text-to-Video Generation 项目: https://hehao13.github.io/projects-CameraC...
-
AI作画算法原理
1.概述 AI作画算法的原理相当复杂,涉及多个领域的知识,包括计算机视觉、机器学习和神经网络等。我们从以下几个方面来描述AI作画算法的基本原理。 2. 数据准备 在数据准备方面,AI作画算法通常需要大量的图像数据作为训练样本。可以是各种各样的艺术...
-
Datawhale |【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3
本文来源公众号“Datawhale”,仅用于学术分享,侵权删,干货满满。 原文链接:【独家】万字长文带你梳理Llama开源家族:从Llama-1到Llama-3 0. 引言 在AI领域,大模型的发展正以前所未有的速度推进技术的边界。 北京时间4月1...
-
【史上最全之 ChatGPT 和文心一言对比】
ChatGPT 和文心一言哪个更好用? 在当今的AI助手领域中,ChatGPT与文心一言无疑是备受瞩目的两位选手。两者分别由美国OpenAI公司和中国百度研发,均致力于提供卓越的人工智能对话体验。接下来,我们将从智能回复、语言准确性以及知识库丰富度等核...
-
AIGC (AI-Generated Content) 技术深度探索:现状、挑战与未来愿景
? 个人主页:空白诗 文章目录 ? AIGC技术:塑造未来的创意与内容革命 ? 引言 ? AIGC技术发展现状 ? 核心技术驱动 ? 应用领域拓展 ? 面临的挑战 ❌ 真实性与伦理考量 ? 技术局限性 ? 未来趋势 ?...
-
稳定扩散美学梯度(Stable Diffusion Aesthetic Gradients):一种创新的图像生成技术...
稳定扩散美学梯度(Stable Diffusion Aesthetic Gradients):一种创新的图像生成技术 项目地址:https://gitcode.com/vicgalle/stable-diffusion-aesthetic-gradien...
-
LLaMa系列模型详解(原理介绍、代码解读):LLaMA 3
LLaMA 3 2024年4月18日,Meta 重磅推出了Meta Llama 3,Llama 3是Meta最先进开源大型语言模型的下一代,包括具有80亿和700亿参数的预训练和指令微调的语言模型,能够支持广泛的应用场景。这一代Llama在一系列行业标...
-
如何看待AIGC技术?未来已来,请做好准备!
文章目录 前言 令人震撼 无限可能 核心优势 背后力量 双刃剑 总结 前言 我正在写一篇关于人工智能对人类工作影响的文章,突然,我的电脑屏幕上弹出一条消息:“嘿,伙计,介意让我写一点吗?” 我吓了一跳,然后意识到是我自己的...
-
腾讯云存储面向AIGC全面升级,搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。 4月8日,腾讯云宣布云存储解决方案面向AIGC场景全面升级,能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。数据显示,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训...
-
如何将大型语言模型(LLM)转换为嵌入模型
译者 | 李睿 审校 | 重楼 实验证明,LLM2Vec模型在嵌入任务上具有更好的性能,它可以为组织开辟新的场所,并以非常低的成本快速创建专门的嵌入模型。 嵌入模型已经成为大型语言模型(LLM 应用的重要组成部分,可以实现检测文本相似度、信息检索和聚类...