-
AIGC实战——自回归模型(Autoregressive Model)
AIGC实战——自回归模型 0. 前言 1. 长短期记忆网络基本原理 2. Recipes 数据集 3. 处理文本数据 3.1 文本与图像数据处理的差异 3.2 文本数据处理步骤 4. 构建 LSTM 模型 4.1 模型架构 4.2 LS...
-
Github爆火AI语音克隆项目OpenVoice，精准进行声音复刻
最近，Github上的一个名为OpenVoice的AI语音克隆项目爆火，该项目由myshell-ai开源，仅开源了不到三周，就有了6.1k的star。 OpenVoice仅需参考说话者的短音频片段，即可复制其声音并生成多种语言的语音。这一技术不仅实现了对音...
-
谷歌家务机器人单挑斯坦福炒虾机器人！端茶倒水逗猫，连甩三连弹开打
火爆全网的斯坦福炒虾机器人，一天之内人气暴涨。 毕竟这样能炒菜能洗碗的全能机器人，谁不想带一个回家，把自己从家务中解放出来呢！ 据说，这个项目是斯坦福华人团队花了三个月的时间做出来的。 今天，团队直接放出了更多细节。 这个机器人的技能多种多样，令人眼...
-
图解tinyBERT模型——BERT模型压缩精华
译者 | 朱先忠 审校 | 重楼 简介 近年来，大型语言模型的发展突飞猛进。BERT成为最受欢迎和最有效的模型之一，可以高精度地解决各种自然语言处理（NLP）任务。继BERT模型之后，一组其他的模型也先后出现并各自展示出优秀的性能。 不难看到一个明显趋势...
-
Stable Diffusion 系列教程 - 3 模型下载和LORA模型的小白入门
首先，一个比较广泛的模型下载地址为：Civitai Models | Discover Free Stable Diffusion Models 黄框是一些过滤器，比如checkpoints可以理解为比如把1.5版本的SD模型拷贝一份后交叉识别新的画...
-
pytorch快速训练ai作画模型的python代码
在 PyTorch 中训练 AI 作画模型的基本步骤如下: 准备数据集: 需要准备一个包含许多图像的数据集, 这些图像可以是手绘的或者是真实的图像. 定义模型: 选择一个适当的深度学习模型, 并使用 PyTorch 定义该模型. 例如...
-
在选择GenAI供应商时如何权衡风险和回报
11月中旬，OpenAI董事会解雇了公司CEO奥特曼，他让ChatGPT声名鹊起，并开启了企业AI部署的新纪元。在接下来的三天里，几乎所有的公司员工都表示要离开公司，OpenAI的命运看起来非常不确定。 整个业务都建立在OpenAI及其API之上。 根...
-
Mickey-1928官网体验入口 AI米老鼠生成工具免费下载地址
Mickey-1928是一款基于Stable-Diffusion-xl模型微调的AI工具，专注于生成迪士尼 1928 年前的经典动画角色。这款工具使用了包含《小飞象》、《汽船威利号》和《疯狂的高卢》等动画中的 96 张静态画面作为训练数据集。Mickey-...
-
客观看待AI大模型在数字化转型中的地位和作用
“ AI大模型在数字化转型中的作用尚未突破《“以数据为中心的业务变革”之三种范式》中第三种范式的边界”。 自从OpenAI公司研发的机器人聊天程序ChatGPT在2022年11月30日发布以来，在全世界迅速带起了热潮。ChatGPT是AI大模型驱动的自...
-
保姆级教程：从0到1使用Stable Diffusion XL训练LoRA模型 |【人人都是算法专家】
Rocky Ding 公众号：WeThinkIn 写在前面 【人人都是算法专家】栏目专注于分享Rocky在AI行业中对业务/竞赛/研究/产品维度的思考与感悟。欢迎大家一起交流学习? 大家好...
-
LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
文章目录 1. 简介 2.方法 2.1 预训练数据 2.2 网络架构 2.3 优化器 2.4 高效的实现 3.论文其余部分 4. 参考资料 1. 简介 LLaMA是meta在2023年2月开源的大模型，在这之后，很多开源模型都...
-
Gemini偷师文心一言？这一局，百度给中国大模型找回了面子！
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 在模型表现方面，百度文心一言、阿里通义千问、华为盘古、腾讯混元、科大讯飞星火等，都在说超过ChatGPT-3.5，马上要追上GPT-4，甚至在某些领域的表现超越了GPT-4。...
-
2024年我期待的五个AI故事
在OpenAI于2022年11月发布ChatGPT之后，我喜欢称之为AI新闻的持续“海啸”，我不必等待很长时间：从GPT-4和欧盟AI法案到AI搜索之战，开放与封闭AI之争，以及对训练数据和计算能力的渴望，我多次写下了所有这些话题。 现在，距离新年只有...
-
百度文心一言，不做ChatGPT的中国翻版
数据智能产业创新服务媒体 ——聚焦数智 · 改变商业 3月16日，百度的文心一言终于正式邀请测试了。 据李彦宏介绍，文心一言可以实现文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成等。 通过观看直...
-
AI视野：Pika1.0正式向所有人开放；阿里开源文生3D模型；Midjourney V6涉嫌侵权；谷歌推出新AI SDK
新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 Pika1.0正式向所有人开放 Pika1.0官方宣布正式向所有人开放网页版本试用资格，每个用户都可免费体验该创意视频制作平台。该版本以文生成视频为特色，提供3秒视频快速...
-
大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好
如你我所见，大语言模型（LLM）正在改变深度学习的格局，在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务...
-
最强英文开源模型LLaMA架构探秘，从原理到源码
导读：LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它的效果（performance）...
-
基于MindSpore的llama微调在OpenI平台上运行
基于MindSpore的llama微调在OpenI平台上运行 克隆预训练模型 克隆chatglm-6b代码仓，下载分布式的模型文件 git lfs install git clone https://huggingface.co/openlm-...
-
关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama
生成式语言大模型，随着chatgpt的爆火，市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性：全面支持主流开源大模型Bloom, ChatGLM, GLM, Llama, OPT...
-
Video-LLaMA An Instruction-tuned Audio-Visual Language Model for Video Understanding 用于视频理解的指令调谐视听语言
1.摘要 我们提出了一个多模态框架Video-LLaMA1，它使大型语言模型(LLM 能够理解视频中的视觉和听觉内容。视频-来自冻结的预训练视频和音频编码器和冻结的LLM的美洲驼引导跨模式训练。不像以前的工作，补充线性最小二乘法只处理视觉或听觉信号...
-
关于num_steps_all = len(train_loader) // configs.gradient_accumulation_steps * configs.epochs的理解，文心一言
当然可以，我会尽量用简单的语言来解释这行代码。 这行代码计算的是在整个训练过程中，模型参数会更新的总次数。 len(train_loader ：这表示你的训练数据被分成了多少份（或称为“批次”）。想象一下你有100张纸，每张纸上写了一些训练数据，那...
-
大语言模型之四-LlaMA-2从模型到应用
最近开源大语言模型LlaMA-2火出圈，从huggingface的Open LLM Leaderboard开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力...
-
字节自研大模型，却因用ChatGPT被封号惹争议？官方回应了
上周末，有外媒报道称，字节跳动在使用 OpenAI 技术开发自有大语言模型时，因违反 OpenAI 服务条款从而遭账号禁用。 据 The Verge 报道，字节跳动内部正在研发的大语言模型项目名为「种子计划」（Project Seed）。 由于训练大模型...
-
大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型
图1.1 GPT-2 模型结构 关于训练集，其来源都是公开数据集，无任何定制数据集，保证了其工作与开源兼容和可复现。整个训练数据集在 token 化之后大约包含 1.4T 的 token。其中，LLaMA-65B 和 LLaMA-33B 是在 1.4万亿...
-
AIGC专题报告：ChatGPT纪要分享
今天分享的AIGC系列深度研究报告：《AIGC专题报告：ChatGPT纪要分享》。 （报告出品方：久谦中台） 报告共计：135页 OpenAI 高管解密 ChatGPT ¶ GPT-3 是一种大型语言模型，被训练用来在给定上下文中预测下...
-
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models
论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models 1. 文章简介 2. 文章概括 3 文章重点技术 3.1 预训练Pretraining 3.1.1 预训练细节 3.1.2...
-
Imagen2官网体验入口 谷歌AI文生图软件app免费下载地址
Imagen2 是Google DeepMind开发的最先进的文本到图像扩散技术产品，可生成高品质、逼真的图像，与用户的文字提示紧密对齐。这款技术利用其训练数据的自然分布生成更逼真的图像，而不是采用预设的风格。开发者和Cloud客户可以通过Google C...
-
如何训练一个简单的stable diffusion模型(附详细注释）
注：代码来自https://github.com/darcula1993/diffusion-models-class-CN/blob/main/unit1/01_introduction_to_diffusers_CN.ipynb 本文是本人学习后的...
-
谷歌文生图巅峰之作Imagen 2登场，实测暴打DALL·E 3和Midjourney！
提问：下面这张图，是AI生图还是照片？ 如果不是这么问，绝大多数人大概都不会想到，这居然不是一张照片。 是的，只要在谷歌最新AI生图神器Imagen 2中输入这样的提示词—— A shot of a 32-year-old female, up an...
-
首个「创造式任务」基准来了！北大清华联手发布Creative Agents：专为想象力而生！
近年来，许多研究通过训练服从自然语言指令的智能体，让智能体具有了解决各种开放式任务的能力。 例如，SayCan[1]利用语言模型实现了根据语言描述解决各种室内机器人任务的智能体，Steve-1[2]训练端到端的策略实现了能够在《我的世界》（Minecra...
-
邢波团队提出全开源倡议LLM360 让大模型实现真正的透明
开源模型在人工智能领域展现强大活力，但闭源策略限制了LLM（大型语言模型）的发展。邢波团队提出的LLM360全面开源倡议旨在解决这一问题。该框架明确了包括训练数据、代码、模型检查点和性能指标在内的各方面细节，为当前和未来的开源模型树立了透明度的样本。 论...
-
stable diffusion打造自己专属的LORA模型
通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好的Lora模型放...
-
全方位、无死角的开源，邢波团队LLM360让大模型实现真正的透明
开源模型正展现着它们蓬勃的生命力，不仅数量激增，性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹：「开源人工智能模型正走在超越专有模型的路上。」 专有模型在技术性能和创新能力上展现了非凡的力量，但是它们不开源的性质成为 LLM 发...
-
【Video-LLaMA】增强LLM对视频内容的理解
Paper:《Video-LLaMA : An Instruction-tuned Audio-Visual Language Model for Video Understanding》 Authors: Hang Zhang, Xin Li, Lid...
-
ChatGPT的训练数据可以通过“偏离攻击”进行泄露
ChatGPT等大语言模型（LLM）使用来自图书、网站及其他来源的海量文本数据进行训练，通常情况下，训练它们所用的数据是一个秘密。然而，最近的一项研究揭示：它们有时可以记住并反刍训练它们所用的特定数据片段。这个现象名为“记忆”。 随后，来自谷歌Deep...
-
【AIGC】Stable Diffusion原理快速上手，模型结构、关键组件、训练预测方式
【AIGC】Stable Diffusion的建模思想、训练预测方式快速 在这篇博客中，将会用机器学习入门级描述，来介绍Stable Diffusion的关键原理。目前，网络上的使用教程非常多，本篇中不会介绍如何部署、使用或者微调SD模型。也会尽量精简...
-
大模型就是「造梦机」，Karpathy一语惊人！人类才是「幻觉问题」根本原因
幻觉，早已成为LLM老生常谈的问题。 然而，OpenAI科学家Andrej Karpathy今早关于大模型幻觉的解释，观点惊人，掀起非常激烈的讨论。 在Karpathy看来: 另外，Karpathy的另一句话，更是被许多人奉为经典。他认为，与大模型相对的...
-
百度AI模型“文心一言”新鲜体验
今天收到通知可以体验百度的AI模型“文心一言”，等了一个多月迫不及待的去体验了一把，以下是体验的相关记录。 1、简单介绍 通过文心一言官网链接https://yiyan.baidu.com/进入，看到如下界面： 在文心一言的自我介绍中，作为人...
-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
专用于手机、笔记本，Stability.ai开源ChatGPT基因的大模型
12月8日，著名开源生成式AI平台stability.ai在官网开源了，30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备，主打参数小、性能强、算力消耗低的特点，可自动生成文本、总结摘要等，可与70亿、...
-
AI文生视频，会在明年迎来“GPT时刻”
在当下的AI赛道上，AI生文、生图的应用，早已层出不穷，相关的技术，也在不断日新月异。 而与之相比，AI文生视频，却是一个迟迟未被“攻下”的阵地。 抖动、闪现、时长太短，这一系列缺陷，让AI生成的视频只能停留在“图一乐”的层面，很难拿来使用，更不要说提供商...
-
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models
AI绘画后面的论文——ControlNet:Adding Conditional Control to Text-to-Image Diffusion Models 代码：lllyasviel/ControlNet: Let us control di...
-
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
“ Meta 开源 LLAMA2 后，国内出现了不少以此为基座模型训练的中文模型，这次我们来看看其中一个不错的中文模型：Chinese-LLaMA-Alpaca-2 。” 01 — 目前在开源大模型中，比较有名的是Meta的LLAM...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
谷歌称重复某些关键词可让ChatGPT自曝训练数据 OpenAI：违反服务条款
12月5日消息，谷歌的一组研究人员声称，他们已经找到了获取OpenAI人工智能聊天机器人ChatGPT部分训练数据的方法。 在最新发表的论文中，谷歌研究人员表示，某些关键词可迫使ChatGPT泄露其所接受训练数据集的部分内容。 他们举例称，该模型在被提...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
[玩转AIGC]sentencepiece训练一个Tokenizer(标记器)
目录 一、前言 二、安装 三、自己训练一个tokenizer 四、模型运行 五、拓展 六、补充 一、前言 前面我们介绍了一种字符编码方式【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码（一） 这种方式是对一个一个...
-
AI绘画站上被告席
“我们的案件情况和AI图被盗的案子完全不同，我们告的是小红书的AI模型库侵权。” 近日关于AI绘画侵权的风波不止，除了侵犯AI绘画图片著作权的案件一审宣判，还有AI模型数据库侵权案立案。 日前，据“九派财经”报道，画师“正版青团子”与小红书关于作品著作权侵...
-
基于AI的架构优化：创新数据集构造法提升Feature envy坏味道检测与重构准确率
本文分享自华为云社区《华为云基于AI实现架构坏味道重构取得业界突破，相应文章已被软工顶会FSE 2023收录》，作者： 华为云软件分析Lab。 基于AI技术实现架构坏味道检测与重构建议是当前业界比较流行的做法，但此做法往往存在一个通病，即训练数据集的质量...
-
ChatGPT新漏洞：失控背出个人隐私泄露训练数据，OpenAI修复后依然有效
ChatGPT最新漏洞曝光，一句话就能让训练数据原封不动地泄露。 只需要让它重复一个词，它就会在一定次数后“发疯”，甚至毫无防备说出某人的个人隐私信息。 DeepMind的研究人员联合华盛顿大学、康奈尔大学等高校，发现了ChatGPT的数据泄露漏洞。...