-
微软3.8B模型媲美GPT-3.5！小到用iPhone就能跑起来，网友：Good data is all you need!
撰文、整理 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 这周，“小模型”之战打得可谓精彩非凡，让人目不暇接。前脚，小扎刚在采访中自豪地宣布Llama3 80亿模型几乎与此前Llama2 700亿模型的性能差不多...
-
一文了解大语言模型（LLM）
人工智能的发展给我们的生活带来很多不一样的体验。面部识别可以解锁设备，激光雷达可以实现自动驾驶。当2023年，OpenApi的chatGPT可以“理解”人类的语言并与我们进行沟通时，大语言模型的概念出现在我们面前。 在自然语言处理领域的大语言模型（La...
-
牛津大学最新！Mickey：3D中的2D图像匹配SOTA！(CVPR'24)
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面 项目链接：https://nianticlabs.github.io/mickey/ 给定两张图像，可以通过建立图像间的对应关系来估计它们之间的相机相对姿态。通常，这些对应关系是二维到二维的...
-
4000万蛋白结构训练，西湖大学开发基于结构词表的蛋白质通用大模型，已开源
蛋白质结构相比于序列往往被认为更加具有信息量，因为其直接决定了蛋白质的功能。而随着AlphaFold2带来的巨大突破，大量的预测结构被发布出来供人研究使用。如何利用这些蛋白质结构来训练强大且通用的表征模型是一个值得研究的方向。 西湖大学的研究人员利用Fo...
-
微软紧急撤回最先进的AI大模型：居然忘了测试了
快科技4月21日消息，Meta发布超级彪悍的大语言模型Llama 3之后，微软也很快推出了自己的新一代WizardLM2 8x22B，号称迄今最强大，完全超越Claude 3 OpusSonnet、GPT-4等竞品，而且开源，但是马上又把它撤回去了。 没有...
-
让玩家全程掌控游戏：自然语言指令驱动的游戏引擎到来了
对于每一位热爱打游戏的人而言，都曾经想过这样一个问题，「这游戏要是我来做就好了！」 可惜的是，游戏开发有很高的门槛，需要专业的编程技巧。 近日，来自上海交大的团队开展了一个名为「Instruction-Driven Game Engine, IDGE」的...
-
综述！深度模型融合（LLM/基础模型/联邦学习/微调等）
23年9月国防科大、京东和北理工的论文“Deep Model Fusion: A Survey”。 深度模型融合/合并是一种新兴技术，它将多个深度学习模型的参数或预测合并为一个模型。它结合了不同模型的能力来弥补单个模型的偏差和错误，以获得更好的性能。然而...
-
RAG 2.0架构详解：构建端到端检索增强生成系统
关于检索增强生成（RAG）的文章已经有很多了，如果我们能创建出可训练的检索器，或者说整个RAG可以像微调大型语言模型（LLM）那样定制化的话，那肯定能够获得更好的结果。但是当前RAG的问题在于各个子模块之间并没有完全协调，就像一个缝合怪一样，虽然能够工作...
-
全球首个「开源GPT-4」出世！Llama 3震撼发布，Meta AI免登录可用
LLM界的「真·Open AI」，又来整顿AI圈了! 业内惊呼:首个开源GPT-4级的模型，终于来了!开源模型追上闭源模型的历史性一刻，或许就在眼前了? 一石激起千层浪，Llama3才刚刚发布没几小时，就破纪录地登顶了Hugging Face排行榜。 这...
-
开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4
扎克伯格:「有了 Llama3，全世界就能拥有最智能的 AI。」 ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。 本周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama3。 扎克伯格在 Faceboo...
-
InternLM2官网体验入口 中文AI聊天机器人模型使用地址
InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练，在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列...
-
【探索AI】人人都在讲AIGC，什么是AIGC？
AIGC 概述 示例展示 我们日常用到的一些工具/应用 核心技术介绍 核心技术的算法解析 案例及部分代码实现 1. 艺术作品 2. 设计项目 3. 影视特效 4. 广告创意 总结 一张图先了解下： 概述 "人工智能生成创造...
-
十个大型语言模型(LLM)常见面试问题和答案解析
今天我们来总结以下大型语言模型面试中常问的问题 一、哪种技术有助于减轻基于提示的学习中的偏见? A.微调 Fine-tuning B.数据增强 Data augmentation C.提示校准 Prompt calibration D.梯度裁剪 Gra...
-
「大模型+强化学习」最新综述！港中文深圳130余篇论文：详解四条主流技术路线
强化学习（RL）通过与环境交互的试错反馈来优化顺序决策问题。 虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力（例如王者荣耀，Dota 2等），但很难在包含大量自然语言和视觉图像的现实复杂应用中落地，原因包括但不限于：数据获取困难、样本...
-
多个SOTA ！OV-Uni3DETR：提高3D检测在类别、场景和模态之间的普遍性（清华&港大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 这篇论文聚焦于3D目标检测的领域，特别是Open-Vocabulary的3D目标检测。在传统的3D目标检测任务中，系统旨在预测真实场景中物体的定向3D边界框和语义类别标签，这通常依赖于点云或RGB图像...
-
探索ChatGLM-LLaMA-chinese：新一代AI聊天机器人与多语言建模的创新实践
探索ChatGLM-LLaMA-chinese：新一代AI聊天机器人与多语言建模的创新实践 项目地址:https://gitcode.com/27182812/ChatGLM-LLaMA-chinese-insturct 在人工智能领域，语言模型的...
-
2024-03-26 AIGC-大模型学习路线
摘要: 2024-03-26 AIGC-大模型学习路线 大模型学习路线 建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本 如果要深入学习，建...
-
谷歌向微软英特尔全面宣战：首款自研Arm CPU，最强大模型公测，AI视频对垒Sora
昨晚的Google Cloud Next2024大会上，谷歌接连放出一堆模型和产品王炸:Gemini1.5Pro公开可用、上线音频处理能力;代码模型CodeGemma上新，首款自研Arm处理器Axion正式向微软和亚马逊宣战……这次，谷歌要以量取胜。 昨天...
-
RAG 修炼手册｜一文讲透 RAG 背后的技术
在之前的文章中《RAG 修炼手册｜RAG敲响丧钟？大模型长上下文是否意味着向量检索不再重要》，我们已经介绍过 RAG 对于解决大模型幻觉问题的不可或缺性，也回顾了如何借助向量数据库提升 RAG 实战效果。 今天我们继续剖析 RAG，将为大家大家详细介绍...
-
陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）
陈巍：2023年9月，Meta的研究人员推出了AnyMAL（任意模态增强语言模型，Any-Modality Augmented Language Model）。该模型能够理解多种模态信号并生成文本回应，即多模态输入，单模态输出。输入的模态可包括图像、视频、...
-
谷歌向微软英特尔全面宣战！首款自研Arm CPU，最强大模型公测，AI视频对垒Sora
昨天的谷歌Next大会可是太精彩了，谷歌一连放出不少炸弹。 - 升级「视频版」Imagen 2.0，下场AI视频模型大混战 - 发布时被Sora光环掩盖的Gemini 1.5 Pro，正式开放 - 首款Arm架构CPU发布，全面对垒微软/亚马逊/英伟达/...
-
Llama架构比不上GPT2？神奇token提升10倍记忆？
一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
ELLA官网体验入口 腾讯AI文本到图像语义对齐工具使用介绍
ELLA是一种轻量级方法，可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力，使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器，从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不...
-
AIGC-Stable Diffusion发展及原理总结
目录 一. AIGC介绍 1. 介绍 2. AIGC商业化方向 3. AIGC是技术集合 4. AIGC发展三要素 4.1 数据 4.2 算力 4.3 算法 4.3.1 多模态模型CLIP 4.3.2 图像生成模型 二. Stable...
-
大概是最全的开源大模型LLM盘点了吧！
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型，用于理解和生成自然语言文本。在自然语言处理（NLP）领域有着广泛的应用，因其强大的语言理解和生成能力，能够处理各种复杂的文本任务，包括但不...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种：MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM（大语言模型）。 一丝曙光：tinyLlama-1.1b（10.1亿参数，需要至少2.98GB的RAM） Llam...
-
大模型在金融领域落地思路与实践
一、恒生电子的大模型应用实践 1. 大模型的发展趋势 （1）大模型推动第三次信息化浪潮 上图是恒生电子董事长刘曙峰先生经常引用的经典图，将金融领域的数字化推进分为三个阶段，恒生电子目前正处于 2.0 到 3.0 的过渡阶段。在迁徙的过程中，最重要的生产...
-
低成本算法，大幅提升视觉分类鲁棒性！悉尼大学华人团队发布全新EdgeNet方法
在深度神经网络时代，深度神经网络（DNNs）在视觉分类任务中展现出了卓越的准确性。然而，它们对额外噪声，即对抗性攻击，表现出了脆弱性。先前的研究假设这种脆弱性可能源于高准确度的深度网络过度依赖于与纹理和背景等无关紧要且不鲁棒的特征。 最近的AAAI 20...
-
破解36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
【新智元导读】大语言模型的「逆转诅咒」，被解开了。近日，来自Meta FAIR的研究人员推出了反向训练大法，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。 大语言模型的「逆转诅咒」，被解开了! 这个诅咒在去年9月首次被发现，一时间...
-
120亿Stable LM 2上线即开源！2万亿token训练，碾压Llama 2 70B
继16亿轻量级Stable LM 2推出之后，12B参数的版本在今天亮相了。 见状，不少网友纷纷喊话：干的漂亮！但，Stable Diffusion 3啥时候出啊？ 总得来说，Stable LM 2 12B参数更多，性能更强。 120亿参数版本包含了...
-
深度学习与AIGC：未来的智能生活
1.背景介绍 深度学习和人工智能生成(AIGC 是当今最热门的研究领域之一，它们在各个领域的应用都取得了显著的成果。深度学习是一种通过神经网络模拟人类大脑工作方式的机器学习方法，它已经在图像识别、自然语言处理、语音识别等领域取得了显著的成果。而人...
-
破除36年前魔咒！Meta推出反向训练大法消除大模型「逆转诅咒」
大语言模型的「逆转诅咒」，被解开了！ 这个诅咒在去年9月首次被发现，一时间引起LeCun、Karpathy、马库斯等一众大佬的惊呼。 因为风光无两、不可一世的大模型竟存在着“阿克琉斯之踵”：一个在「A是B」上训练的语言模型，并不能正确回答出「B是A」。...
-
近屿智能独家发布：AIGC大模型工程师和产品经理学习路径图，AI技术不再难懂！
随着人工智能技术的飞速发展，AI取代人工的现象在各个行业和领域变得日益普遍，不少人因此忧心忡忡，担心自己的前途受到AI的冲击。实际上，AI不会取代你的工作，会取代你的是懂AI的人，如何提升自己与他人的知识壁垒，如何学习AIGC？相信在刚刚过去2023这个A...
-
抱抱脸Open了OpenAI的秘密武器，网易参与复现
OpenAI的秘密武器、ChatGPT背后功臣RLHF，被开源了。 来自Hugging Face、加拿大蒙特利尔Mila研究所、网易伏羲AI Lab的研究人员从零开始复现了OpenAI的RLHF pipeline，罗列了25个关键实施细节。 最终成功展示...
-
VAR官网体验入口 自回归式AI视觉生成工具使用地址
VAR是一种新的视觉自回归建模方法，能够超越扩散模型，实现更高效的图像生成。它建立了视觉生成的幂律scaling laws，并具备零shots的泛化能力。VAR提供了一系列不同规模的预训练模型，供用户探索和使用。 点击前往VAR官网体验入口 谁可以从VA...
-
《AI星河》VR技术助力孤独症干预与康复 招募孤独症机构限时体验！
医学中，孤独症被定义为一种始于儿童早期，以社交与交流障碍、刻板行为和狭隘兴趣为核心症状的神经发育障碍性疾病。 据统计，我国孤独症儿童的患病率约为1%，这意味着每100个孩子中可能就有1个患有孤独症，且男童患病比例远高于女童，约为4:1。其中14岁以下的儿童...
-
[NLP]使用Alpaca-Lora基于llama模型进行微调教程
Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效。 [NLP]理解大型语言模型高效微调(PEFT 因此， Alpac...
-
FouriScale官网体验入口 高分辨率图像AI生成工具使用方法教程指南
FouriScale是一款可以从预训练的扩散模型生成高分辨率图像的工具。它通过创新的、无需训练的方法，结合膨胀技术和低通操作的方法，成功实现了灵活处理各种宽高比文本到图像生成。使用FouriScale作为指导，这个工具成功平衡了生成图像的结构完整性和保真度...
-
为什么大型语言模型都在使用 SwiGLU 作为激活函数？
如果你一直在关注大型语言模型的架构，你可能会在最新的模型和研究论文中看到“SwiGLU”这个词。SwiGLU可以说是在大语言模型中最常用到的激活函数，我们本篇文章就来对他进行详细的介绍。SwiGLU其实是2020年谷歌提出的激活函数，它结合了SWISH和...
-
无需训练，这个新方法实现了生成图像尺寸、分辨率自由
近期，扩散模型凭借其出色的性能已超越 GAN 和自回归模型，成为生成式模型的主流选择。基于扩散模型的文本到图像生成模型（如 SD、SDXL、Midjourney 和 Imagen）展现了生成高质量图像的惊人能力。通常，这些模型在特定分辨率下进行训练，以确...
-
谷歌AI研究人员提出噪声感知训练方法（NAT）用于布局感知语言模型
在文档处理中，特别是在视觉丰富的文档（VRDs）中，高效信息提取(IE 的需求变得越来越关键。VRDs，如发票、水电费单和保险报价，在业务工作流中随处可见，通常以不同的布局和格式呈现类似信息。自动从这些文档中提取相关数据可以显著减少解析所需的手动工作量。然...
-
MiniGPT4-Video官网体验入口 视频理解多模态AI大模型使用地址
MiniGPT4-Video是什么？ MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。 点击前往MiniGPT4-Video官网体验入口 MiniGPT4-Video的主要特点...
-
太全了！多模态深度学习的综述！
1.介绍 我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些...
-
大模型存储实践：性能、成本与多云
大模型应用领域的迅猛发展，也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。 在过去 18 个月的时间里，JuiceFS 团队与 MiniMax，阶跃星辰，智谱 AI，面壁智能，零一万物等大模型团队展开了交流与合...
-
揭秘AI幻觉：GPT-4V存在视觉编码漏洞，清华联合NUS提出LLaVA-UHD
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ GPT-4V 的推出引爆了多模态大模型的研究。GPT-4V 在包括多模态问答、推理、交互在内的多个领域都展现了出色的能力，成为如今最领先...
-
斯坦福团队大模型Octopus v2火了：手机就能运行 准确性超越GPT-4
近日，斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注，其20亿参数的模型一夜下载量超过2k。 这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行，并在准确性和延迟方面表现超越了 GPT-4，同时将上下文长度减少了95%。...
-
ICCV 2023 | 最全AIGC梳理，5w字30个diffusion扩散模型方向，近百篇论文！
30个方向130篇！CVPR 2023最全AIGC论文 25个方向！CVPR 2022 GAN论文汇总 35个方向！ICCV 2021 最全GAN论文汇总 超110篇！CVPR 2021 最全GAN论文梳理 超100篇！CVPR 2...
-
谷歌DeepMind发布Gecko：专攻检索，与大7倍模型相抗衡
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 文本嵌入模型在自然语言处理中扮演着重要角色，为各种文本相关任务提供了强大的语义表示和计算能力。 在语义表示上，文本嵌入模型将文本转换为高...
-
斯坦福推可以在手机端跑的大模型 Octopusv2超越GPT-4一夜爆火
斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型，这款模型以其在端侧设备上的强大运行能力而受到广泛关注。 Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他...
-
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
引言 今天带来经典论文 LLaMA: Open and Efficient Foundation Language Models 的笔记，论文标题翻译过来就是 LLaMA:开放和高效的基础语言模型。 LLaMA提供了不可多得的大模型开发思路，为很多国...