-
多模态LLM多到看不过来？先看这26个SOTA模型吧
当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。 近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布...
-
Stable Diffusion学习
参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型，可以说Stable Diffusion的发布将AI图像生成提高到了全新...
-
纯文本模型训出「视觉」表征！MIT最新研究：语言模型用代码就能作画
只会「看书」的大语言模型，有现实世界的视觉感知力吗？通过对字符串之间的关系进行建模，关于视觉世界，语言模型到底能学会什么？ 最近，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员对语言模型的视觉能力进行了系统的评估，从简单形状、物体...
-
讯飞星火V3.5整体接近GPT-4 Turbo！首个13B开源大模型发布，深度适配国产算力
【新智元导读】首个基于全国产化算力平台「飞星一号」的大模型，正式开源! 1月26日，美国商务部长雷蒙多表示，拜登政府正在尽全力阻止中国获得训练AI模型所需的算力资源。 美国的云计算公司，都被要求确定是否有外国实体正在访问美国数据中心以训练AI模型。 雷蒙多...
-
百度交了份“大”作业：文心一言用户破1亿，累计37亿字文本创作，能力再升32%！...
金磊 发自 凹非寺量子位 | 公众号 QbitAI 今年国产大模型的最后一声枪响，属于百度： 发布仅2个月，文心大模型4.0，能力又提升了32%。 文心一言用户规模超过1个亿！ 这便是在深度学习“春晚”——WAV...
-
AIGC的隐私安全问题及隐私保护技术
作者:京东科技 杨博 ChatGPT 才出现两个月，就已经引起了学术界的关注。微软成为ChatGPT母公司OpenAI的合作伙伴，并确认投资百亿美元。同时，微软正计划将 OpenAI 的技术整合到其产品中，包括Bing搜索引擎和其他软件，以增强它们的能力...
-
基于参考物体的AIGC图像生成技术在家居导购领域的应用
本文深入探讨了基于参考物体的人工智能图像生成（AIGC）技术的最新进展。首先概述了该类技术如何发展至今，然后着重分析了两篇重要的相关学术论文。随后，文章针对家居导购领域的特殊应用场景，讨论了运用此项技术时遭遇的挑战和取得的最新效果。...
-
大家都在用的AI作画Python几行代码就可实现
一、通过openai实现的作品： 要想快速实现功能，咱们先了解一下OpenAI,OpenAI是一家人工智能公司，专注于开发强化学习、机器学习、自然语言处理等技术。OpenAI的主要目标是创造一套安全的人工智能系统，以帮助人们在各行各业中利用这项技术.接...
-
准确率不足20%，GPT-4V/Gemini竟看不懂漫画！首个图像序列基准测试开源
OpenAI的GPT-4V和谷歌最新的Gemini多模态大语言模型一经推出就得到业界和学界的热切关注: 一系列工作都从多角度展示了这些多模态大语言模型对视频的理解能力。人们似乎相信我们离通用人工智能artificial general intellige...
-
百川智能发布千亿参数大模型，中文能力超越GPT-4！
“追上ChatGPT水平，我觉得今年内可能就能够实现，但对于GPT-4或者GPT-5，我认为可能需要3年左右的时间，应该不会低于两年。”去年4月，百川智能创始人王小川当初曾这样判断自己入局大模型赛道后的进度。就在昨天，千亿参数规模的百川大模型终于来了！...
-
copilot和chatGPT的区别分析
Copilot是一个基于人工智能的代码提示工具，由GitHub和人工智能公司合作开发。它可以利用机器学习技术和大量训练数据生成高质量的代码，提高开发者的编码效率。Copilot的工作原理是基于自然语言处理、机器学习和深度神经网络技术，以及大规模实际编码数据...
-
把图像视为外语，快手、北大多模态大模型媲美DALLE-3
当前的大型语言模型如 GPT、LLaMA 等在自然语言处理领域取得了显著进展，能够理解和生成复杂的文本内容。但你是否想过，如果能够将大语言模型这强大的理解和生成能力迁移到多模态数据上，就可以轻松理解海量的图像与视频，并辅助创作图文并茂的内容。近期，来自快...
-
ChatGPT vs 文心一言（AI助手全面比较）
随着人工智能的不断发展，ChatGPT（OpenAI）和文心一言都代表了当前先进的自然语言处理技术。它们在智能回复、语言准确性和知识库丰富度等方面都有各自的优势。在下面的比较中，我们将从多个角度探讨这两个AI助手，帮助你更好地选择适合你需求的工具。 1...
-
无缝衔接Stable Diffusion，一张照片几秒钟就能生成个性化图片-InstantID
最近一段时间基于扩散模型的图像处理方法遍地开花，接下来为大家介绍一种风格化图像的方法InstantID，可以通过仅有一张人脸照片，几秒钟内生成不同风格的人物照片。与传统方法需要多张参考图像和复杂的微调过程不同，InstantID只需一张图像...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
每日一看大模型新闻（2023.11.14）谷歌提出新型生成式AI模型IGN；谷歌天气预报模型GraphCast登刊Science；贾扬清吐槽国产大模型套壳Llama 假装自研，零一万物回应
1.产品发布 1.1面壁智能：发布AI Agents首个SaaS级产品ChatDev 发布日期：2023-11-15 面壁智能打造首个“大模型+Agent” SaaS级产品ChatDev 主要内容：面壁智能已经推出了基于群体智能和其新一代千...
-
2024年度AI投资策略报告：AI三要素共振，AIGC云到端加速推进
今天分享的AI系列深度研究报告：《2024年度AI投资策略报告：AI三要素共振，AIGC云到端加速推进》。 （报告出品方：中国银河证券研究院） 报告共计：103页 核心观点:行业热度将持续，积极把握六大投资主线 (一 行业行情回顾及 2...
-
探索星辰大海：成为AIGC大模型领域的精英 - 近屿智能OJAC深度训练营招募中！
朋友，面对AIGC这股新的AIGC技术革命浪潮，您还在旁观吗？ 近屿智能OJAC第六期AIGC星辰大海：大模型工程师和产品专家线上训练营，正在寻找像您这样有梦想、有热情的学员！OJAC的AIGC星辰大海第六期训练营，一个为您量身打造的AI大模型学习之...
-
第三十二章：ChatGPT与AIGC在物联网领域的应用
1.背景介绍 物联网(Internet of Things，IoT 是指通过互联网将物体和设备连接起来，实现数据的传输和共享。物联网技术已经广泛应用于各个领域，如智能家居、智能城市、智能制造、智能农业等。随着数据量的增加和计算能力的提高，人工智能...
-
重塑3D生成核心理论：VAST、港大、清华用「零」训练数据生成了3D模型
无需任何训练数据，只需对着模型描述一句话，如「一个做作业的香蕉人」： 或是「一只戴着 VR 眼镜的猫」： 就能生成符合描述的带有高质量纹理贴图的 3D 场景。不仅如此，还能对已有的 3D 模型进行精细化贴图。 这是港大与清华大学联合 3D 生成明星...
-
年轻人的第一个多模态大模型：1080Ti轻松运行，已开源在线可玩
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！ 模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。 想将一份文档图片转换成Markdown格式？以往需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤...
-
CMU华人18万打造高能机器人，完爆斯坦福炒虾机器人！全自主操作，1小时学会开12种门
比斯坦福炒虾机器人还厉害的机器人来了！ 最近，CMU的研究者只花费2.5万美元，就打造出一个在开放世界中可以自适应移动操作铰接对象的机器人。 论文地址：https://arxiv.org/abs/2401.14403 厉害之处就在于，它是完全自主完成操作...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
无需人工标注！LLM加持文本嵌入学习：轻松支持100种语言，适配数十万下游任务
文本嵌入（word embedding）是自然语言处理（NLP）领域发展的基础，可以将文本映射到语义空间中，并转换为稠密的矢量，已经被广泛应用于各种自然语言处理（NLP）任务中，如信息检索（IR）、问答、文本相似度计算、推荐系统等等， 比如在IR领域，第...
-
通义千问视觉语言模型Qwen-VL在线体验入口 阿里云AI在线使用入口
Qwen-VL是阿里云推出的通用型视觉语言模型，具备强大的视觉理解和多模态推理能力。采用 Transformer 结构，以 7B 参数规模进行预训练，支持 448x448 分辨率，能够端到端处理图像与文本的多模态输入与输出。Qwen-VL在多个视觉基准测试...
-
大模型开山鼻祖！InstructGPT发布两周年了
今天是InstructGPT发布两周年的纪念日，它是现代大语言模型的开山鼻祖。Jim Fan介绍了InstructGPT的重要性并且说了几条关于InstructGPT非常有意思的点。还展示了InstructGPT中非常经典的三步LLM训练方法的图片，我也顺...
-
AIGC内容分享(五十八)：AIGC数据跨境的法律监管和合规路径
目录 一、引言 二、AIGC数据出境主要场景分析 三、数据出境法律监管和合规路径 四、对AIGC数据出境的合规建议 一、引言 在生成式人工智能（Generative AI，下称“AIGC”）技术的发展和应用过程中，相关法律监管问题一直备受...
-
LLaMA Efficient Tuning
文章目录 LLaMA Efficient Tuning 安装 数据准备 浏览器一体化界面 单 GPU 训练 train_bash 1、预训练 pt 2、指令监督微调 sft 3、奖励模型训练 rm 4、PPO 训练 ppo 5、DPO 训练...
-
LLM巫师，代码预训练是魔杖！UIUC华人团队揭秘代码数据三大好处
大模型时代的语言模型（LLM）不仅在尺寸上变得更大了，而且训练数据也同时包含了自然语言和形式语言（代码）。 作为人类和计算机之间的媒介，代码可以将高级目标转换为可执行的中间步骤，具有语法标准、逻辑一致、抽象和模块化的特点。 最近，来自伊利诺伊大学香槟分校...
-
# ext-to-speech|tts|voice-cloning|AIGC|多模态#【有图文部署】GPT-SoVits：上线一周就获得了4.1k star！效果炸裂的开源跨语言音色克隆模型！
一周前，RVC变声器创始人（GitHub昵称：RVC-Boss）发布了一款新项目，名为GPT-SoVITS。这个项目一上线就受到了互联网大佬和博主的好评推荐，仅仅在不到一周的时间里，就已经在GitHub上积累了4.1k Star。 据说，该项目是RVC-...
-
谷歌再雪前耻，新Bard逆袭GPT-4冲上LLM排行榜第二！Jeff Dean高呼我们回来了
一夜之间，Bard逆袭GPT-4，性能直逼最强GPT-4 Turbo！ 这个听起来似乎像梦里的事情，确确实实地发生了。 就在昨天，谷歌首席Jeff Dean发推提前透露了谷歌的最新版模型——Gemini Pro-scale。 基于此，Bard相较于3月份...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
文章目录 TL;DR Introduction 背景 本文方案 实现方式 预训练 预训练数据 训练细节 训练硬件支持 预训练碳足迹 微调 SFT SFT 训练细节 RLHF 人类偏好数据收集 奖励模型 迭代式微调（RLHF） 拒...
-
Apple：使用语言模型的自回归方式进行图像模型预训练
1、背景 在GPT等大模型出现后，语言模型这种Transformer+自回归建模的方式，也就是预测next token的预训练任务，取得了非常大的成功。那么，这种自回归建模方式能不能在视觉模型上取得比较好的效果呢？今天介绍的这篇文章，就是Apple近期发...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
一文教会你使用AI绘画利器Stable Diffusion！这可能是CSDN最全的AI绘画使用教程，建议收藏！
大家好，我是程序员晓晓 随着 stable-diffusion 的开源，让更多人有机会直接参与到 AI 绘画的创作中，相关的教程也如雨后春笋般的出现。可是目前我看到的教程同质性较高，通常只能称作为"使用流程讲解"，但是通常没有对其原理和逻辑进行深入说明。...
-
大型语言模型LLM的基础应用
ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
怎么快速转行并学习提示工程师的方法
chatgpt的出现毫无疑问打破了原有的商业格局， 各个公司都已逐渐使用chatgpt来取代人工，反正老板总是提出各种逆天的要求，但chatgpt可不一定听得懂，雇一个翻译那可真是一个好主意 -------------提示工程师 以往要费几天功夫的...
-
论chatGPT和文心一言
前言 chatGPT和文言一心都是基于Transformer架构构建的自然语言处理模型，但不同的开发背景、语言支持和训练数据导致两者面对不同的应用环境各有所长； “一百个读者就有一百个哈姆雷特”，chatGPT还是文心一言好用取决于使用者的具体...
-
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face ? Transformers 在任意多语种语音识别 (ASR 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供...
-
ChatGPT与文心一言：两大AI助手智能回复、语言准确性、知识库丰富度比较
ChatGPT与文心一言：两大AI助手智能回复、语言准确性、知识库丰富度比较 在现代科技飞速发展的时代，人工智能已经成为了我们生活中不可或缺的一部分。特别是在对话AI领域，两大巨头ChatGPT和文心一言以其出色的性能和广泛的应用引起了大家的广泛关注。...
-
18LLM4SE革命性技术揭秘：大型语言模型LLM在软件工程SE领域的全景解析与未来展望 - 探索LLM的多维应用、优化策略与软件管理新视角【网安AIGC专题11.15】作者汇报 综述
Large Language Models for Software Engineering: A Systematic Literature Review 写在最前面 论文名片 课堂讨论 RQ1部分：LLMs的选择和优化 RQ2部分：LLM...
-
多模态大模型，阿里通义千问能和GPT-4V掰手腕了
通义千问的图像推理能力，最近有了大幅提升。 2024年，大模型领域要卷什么? 如果没有思路的话，不妨看看各家大厂都在押注什么方向。 最近一段时间，先是 OpenAI 推出 GPT-4V，让大模型拥有了前所未有的图像语义理解能力。 谷歌随后跟上，发布的 G...
-
评估AI助手的五个关键维度，ChatGPT和文心一言比较
前言 在人工智能（AI）大潮中，AI助手已经渗透到了我们生活的方方面面。他们可以帮助我们获取信息、完成任务、甚至在某些情况下成为我们的朋友。今天，我们将深入探讨两个知名的AI助手：ChatGPT4和文心一言，从诸如智能回复、语言准确性、知识库丰富度、学...
-
百度“文心一言”大模型(ERNIE)发布了，对标ChatGPT
大家好，我是微学AI，今天给大家介绍一下基于大语言模型的背景下，国内外的发展现状，以及百度的“文心一言”大模型。 一、自然语言处理模型的发展 自然语言处理(NLP 大模型的发展可以追溯到早期的简单的规则模型，再到后的机器学习，近十年崛起的神经网络和深度...
-
chatglm2-2b+sdxl1.0+langchain打造私有AIGC（五）
一、实现目标 上篇文章写完LLM的Agent之后，流程应该是进入到了SDXL的“文生图”“图生图”阶段了 目标很明确，使用SDXL为ChatGLM生成的内容进行配图，说明：大部分使用SD模型的大神都是使用SD模型配套的开源WebUI，因为我主打一个...
-
推翻Transformer奠基之作疑被拒收，ICLR评审遭质疑！网友大呼黑幕，LeCun自曝类似经历
去年12月，CMU和普林斯顿的2位研究者发布了Mamba架构，瞬间引起AI社区震动！ 结果，这篇被众人看好有望「颠覆Transformer霸权」的论文，今天竟曝出疑似被顶会拒收？！ 今早，康奈尔大学副教授Sasha Rush最先发现，这篇有望成为奠基之作...
-
大模型×文本水印：清华、港中文、港科广、UIC、北邮联合发布首个大模型时代下的文本水印综述
论文：A Survey of Text Watermarking in the Era of Large Language Models 论文链接：https://arxiv.org/abs/2312.07913 大模型时代：文本水印新纪元 文本水...
-
生成式人工智能中的BYOK（BringYourOwnKey）是一把双刃剑
原文作者 | Emmanuel Ajala 自带密钥（BYOK）——一个保证可定制和可控的概念在不断发展的人工智能（AI）世界中脱颖而出。 虽然BYOK经常在云计算和安全领域讨论，但本文深入将探讨其在生成式人工智能领域的应用。 与开发人员使用算法的...