-
Textual Inversion、DreamBooth、LoRA、InstantID：从低成本进化到零成本实现IP专属的AI绘画模型
2023年7月份国内有一款定制写真AI工具爆火。一款名为妙鸭相机的AI写真小程序，成功在C端消费者群体中出圈，并在微信、微博和小红书等平台迅速走红，小红书上的话题Tag获得了330多万的浏览量，相关微信指数飙升到了1800万以上。 其他能够提供类似功能例...
-
大模型笔记【3】 gem5 运行模型框架LLama
一 LLama.cpp LLama.cpp 支持x86，arm，gpu的编译。 1. github 下载llama.cpp https://github.com/ggerganov/lla...
-
ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三）
文章目录 ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三） Text-to-Text 模型 ChatGPT LaMDA PEER Meta AI Speech f...
-
上海智能实验室推图文多模态大模型InternLM-XComposer2（浦语·灵笔2）
InternLM-XComposer2是一款先进的视觉-语言模型，在自由组合文本和图像以及理解这两者之间的内容方面表现卓越。 这款模型不仅超越了传统的视觉-语言理解，而且能够巧妙地将多样化的输入，如概要、详尽的文本描述和参考图片，融合成包含文本和图像的复合...
-
深入浅出完整解析Stable Diffusion（SD）核心基础知识
2022年，Stable Diffusion模型横空出世，其成为AI行业从传统深度学习时代走向AIGC时代的标志性模型之一，并为工业界，投资界，学术界以及竞赛界都注入了新的AI想象空间，让AI再次性感。 Stable Diffusion是计算机视觉领域的...
-
多模态LLM多到看不过来？先看这26个SOTA模型吧
当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。 近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布...
-
Stable Diffusion学习
参考 Stable Diffusion原理详解_stable diffusion csdn-CSDN博客 Stable Diffusion是stability.ai开源的图像生成模型，可以说Stable Diffusion的发布将AI图像生成提高到了全新...
-
Code Llama 70B霸榜3连发，练习5个月击败GPT-4！小扎LeCun亲自官宣上新
今天，Meta正式发布了Code Llama 70B，作为Code Llama系列中规模最大，性能最强的版本，一举击败了GPT-4！ 目前，模型共有三个版本，均可免费用于研究和商业目的： CodeLlama - 70B：基础代码模型； CodeLlama...
-
Chinese-LLaMA-Alpaca本地搭建（三）
Chinese-LLaMA-Alpaca模型搭建（三） 1、简单介绍 1.1 原版LLaMA模型介绍 1.2 LoRA权重模型 1.3 完整版权重模型 2、模型搭建 2.1 直接到huggingface下载转换后的LLaMA hf模型 2...
-
百川智能发布千亿参数大模型，中文能力超越GPT-4！
“追上ChatGPT水平，我觉得今年内可能就能够实现，但对于GPT-4或者GPT-5，我认为可能需要3年左右的时间，应该不会低于两年。”去年4月，百川智能创始人王小川当初曾这样判断自己入局大模型赛道后的进度。就在昨天，千亿参数规模的百川大模型终于来了！...
-
编程能力超GPT-4，羊驼代码版“超大杯”来了，小扎还亲自剧透Llama3
羊驼家族的“最强开源代码模型”，迎来了它的“超大杯”—— 就在今天凌晨，Meta宣布推出Code Llama的70B版本。 图片 在HumanEval测试中，Code Llama-70B的表现在开源代码模型中位列第一，甚至超越了GPT-4。 此次发布的超...
-
stable-diffusion 安装和使用
安装： 在电脑上安装环境依赖 继续安装 把下面这两个文件复制到stable-diffusion-webui 下面 点击A...
-
大模型也能切片，微软SliceGPT让LLAMA-2计算效率大增
大型语言模型（LLM）通常拥有数十亿的参数，用了数万亿 token 的数据进行训练，这样的模型训练、部署成本都非常高。因此，人们经常用各种模型压缩技术来减少它们的计算需求。 一般来讲，这些模型压缩技术可以分为四类：蒸馏、张量分解（包括低秩因式分解）、剪枝...
-
把图像视为外语，快手、北大多模态大模型媲美DALLE-3
当前的大型语言模型如 GPT、LLaMA 等在自然语言处理领域取得了显著进展，能够理解和生成复杂的文本内容。但你是否想过，如果能够将大语言模型这强大的理解和生成能力迁移到多模态数据上，就可以轻松理解海量的图像与视频，并辅助创作图文并茂的内容。近期，来自快...
-
AI虚拟陪伴聊天应用如此火爆，为什么没有中国版Character.ai出现？
三句话，让生气的AI恋人原谅我。 最近，一款名为“哄哄模拟器”的AI聊天产品突然走红。 与单纯提供陪伴、情绪价值的AI聊天应用不同，哄哄模拟器更像是一个练习高情商对话的小游戏。 游戏内预设了多种常见的情侣吵架场景，包括但不限于: 你需要想方设法在限...
-
【AI】Chinese-LLaMA-Alpaca-2 7B llama.cpp 量化方法选择及推理速度测试 x86_64 RTX 2060 6G 显存太小了
环境 操作系统 CPU 内存 生成量化版本模型 转换出q4_0 q4_k q6_k q8_0模型 cd ~/Downloads/ai/llama.cpp sourvce venv/bin/activate ~/Downloads/...
-
第三十二章：ChatGPT与AIGC在物联网领域的应用
1.背景介绍 物联网(Internet of Things，IoT 是指通过互联网将物体和设备连接起来，实现数据的传输和共享。物联网技术已经广泛应用于各个领域，如智能家居、智能城市、智能制造、智能农业等。随着数据量的增加和计算能力的提高，人工智能...
-
Llama-2+Mistral+MPT=? 融合多个异构大模型显奇效
随着 LLaMA、Mistral 等大语言模型的成功，各家大厂和初创公司都纷纷创建自己的大语言模型。但从头训练新的大语言模型所需要的成本十分高昂，且新旧模型之间可能存在能力的冗余。 近日，中山大学和腾讯 AI Lab 的研究人员提出了 FuseLLM，用...
-
【AIGC】从零手写一个GPT
手写一个GPT 在GPT，确切的说是Transformer，出现之前，一个问题长久地困扰着人们——如何让两句内容不同、但语义相近的句子得到较为接近的表示。 比如我们有两句话 我喜欢你 吾中意你 它们作为句子内容并不一样，但是表达的含义却...
-
Stable Diffusion XL总结
Stable Diffusion XL是一个二阶段的级联扩散模型，包括Base模型和Refiner模型。其中Base模型的主要工作和Stable Diffusion一致，具备文生图，图生图，图像inpainting等能力。在Base模型之后，级联了Refi...
-
无需人工标注！LLM加持文本嵌入学习：轻松支持100种语言，适配数十万下游任务
文本嵌入（word embedding）是自然语言处理（NLP）领域发展的基础，可以将文本映射到语义空间中，并转换为稠密的矢量，已经被广泛应用于各种自然语言处理（NLP）任务中，如信息检索（IR）、问答、文本相似度计算、推荐系统等等， 比如在IR领域，第...
-
从零手搓MoE大模型，大神级教程来了
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！ Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。 这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。...
-
500行代码构建对话搜索引擎，贾扬清被内涵的Lepton Search真开源了
来了，贾扬清承诺的 Lepton Search 开源代码来了。 前天，贾扬清在 Twitter 上公布了 Lepton Search 的开源项目链接，并表示任何人、任何公司都可以自由使用开源代码。 项目链接：https://github.com/le...
-
LLaMA Efficient Tuning
文章目录 LLaMA Efficient Tuning 安装 数据准备 浏览器一体化界面 单 GPU 训练 train_bash 1、预训练 pt 2、指令监督微调 sft 3、奖励模型训练 rm 4、PPO 训练 ppo 5、DPO 训练...
-
LLM巫师，代码预训练是魔杖！UIUC华人团队揭秘代码数据三大好处
大模型时代的语言模型（LLM）不仅在尺寸上变得更大了，而且训练数据也同时包含了自然语言和形式语言（代码）。 作为人类和计算机之间的媒介，代码可以将高级目标转换为可执行的中间步骤，具有语法标准、逻辑一致、抽象和模块化的特点。 最近，来自伊利诺伊大学香槟分校...
-
从20亿数据中学习物理世界，基于Transformer的通用世界模型成功挑战视频生成
建立会做视频的世界模型，也能通过Transformer来实现了！ 来自清华和极佳科技的研究人员联手，推出了全新的视频生成通用世界模型——WorldDreamer。 它可以完成自然场景和自动驾驶场景多种视频生成任务，例如文生视频、图生视频、视频编辑、动作序...
-
Llama 2: Open Foundation and Fine-Tuned Chat Models
文章目录 TL;DR Introduction 背景 本文方案 实现方式 预训练 预训练数据 训练细节 训练硬件支持 预训练碳足迹 微调 SFT SFT 训练细节 RLHF 人类偏好数据收集 奖励模型 迭代式微调（RLHF） 拒...
-
Apple：使用语言模型的自回归方式进行图像模型预训练
1、背景 在GPT等大模型出现后，语言模型这种Transformer+自回归建模的方式，也就是预测next token的预训练任务，取得了非常大的成功。那么，这种自回归建模方式能不能在视觉模型上取得比较好的效果呢？今天介绍的这篇文章，就是Apple近期发...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
Stable Diffusion训练Lora模型
以下内容参考:https://www.bilibili.com/video/BV1Qk4y1E7nv/?spm_id_from=333.337.search-card.all.click&vd_source=3969f30b089463e19db0...
-
Stable Diffusion 系列教程 - 6 Dreambooth及训练
Stable-Diffusion、Imagen等文生图大模型已经具备了强大的生成能力，假设我们的Prompt为 [Cyberpunk Style]，SD或许能很快画出赛博朋克风格的一幅画。但你作为一个不知名的人，不能奢求SD在训练的时候把你自己想要的风格也...
-
【网安AIGC专题10.19】论文3代码生成：ChatGPT+自协作代码生成+角色扮演（分析员、程序员、测试员）+消融实验、用于MBPP+HumanEval数据集
Self-collaboration Code Generation via ChatGPT 写在最前面 朋友分享的收获与启发 课堂讨论 代码生成如何协作，是一种方法吗 思路相同 交互实用性 代码生成与自协作框架 摘要 相关工作 PP...
-
大型语言模型LLM的基础应用
ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、...
-
2023最新ChatGPT商业运营系统源码+支持GPT4/支持ai绘画+支持Midjourney绘画
一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
读论文--Token Merging for Fast Stable Diffusion（用于快速Diffusion模型的tome技术）
摘要 The landscape of image generation has been forever changed by open vocabulary diffusion models. However, at their core these...
-
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
本文提供了一个使用 Hugging Face ? Transformers 在任意多语种语音识别 (ASR 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供...
-
最新ChatGPT商业运营版源码，AI绘画，Midjourney绘画，GPT-4V多模态模型识图理解+GPT语音对话+ChatFile文档对话总结+DALL-E3文生图
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
Open AI 推出的 Whisper 是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的 large-v3 模型登顶了 OpenASR 排行榜，被评为最佳的开源英语语音转录模型。该模型在 Common Voice 15 数据...
-
最新ChatGPT网站源码，支持Midjourney绘画，GPT语音对话+GPT-4识图理解能力+ChatFile文档对话总结+DALL-E3文生图
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
推翻Transformer奠基之作疑被拒收，ICLR评审遭质疑！网友大呼黑幕，LeCun自曝类似经历
去年12月，CMU和普林斯顿的2位研究者发布了Mamba架构，瞬间引起AI社区震动！ 结果，这篇被众人看好有望「颠覆Transformer霸权」的论文，今天竟曝出疑似被顶会拒收？！ 今早，康奈尔大学副教授Sasha Rush最先发现，这篇有望成为奠基之作...
-
最新ChatGPT网站AI系统源码，附详细搭建教程/支持GPT4.0/AI绘画/GPT语言对话/DALL-E3文生图/自定义知识库
一、前言 SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美，可以说SparkAi是目前国内一款的ChatGPT对接Op...
-
GPT-4不偷懒了！OpenAI连甩五个大模型，价格最低打两折
OpenAI深夜更新！一口气连甩五个大模型： 新的GPT-4 Turbo预览模型 新的GPT-3.5 Turbo型号 新的文本审核模型 两种新文本嵌入模型 实打实地来了个加量又减价，甚至有模型直接来了个骨折价——降到了原来的五分之一。 开发者狂喜！...
-
大模型×文本水印：清华、港中文、港科广、UIC、北邮联合发布首个大模型时代下的文本水印综述
论文：A Survey of Text Watermarking in the Era of Large Language Models 论文链接：https://arxiv.org/abs/2312.07913 大模型时代：文本水印新纪元 文本水...
-
ChatGPT重磅升级！集简云支持GPT4 Turbo Vision, GPT4 Turbo, Dall.E 3,Whisper等最新模型
在11月7日凌晨，OpenAI全球开发者大会宣布了 GPT-4的一次大升级，推出了 GPT-4 Turbo号称为迄今为止最强的大模型。 此次GPT-4的更新和升级在多个方面显示出强大的优势和潜力。为了让集简云用户能快速体验新模型的能力，我们第一时间整理了大...
-
Mamba论文为什么没被ICLR接收？AI社区沸腾了
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。 2023年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state s...
-
OpenAI深夜推出5个模型更新，价格打骨折！
编辑 | 言征 当地时间，1月25日，OpenAI发布了新的模型，同时降低了GPT-3.5 Turbo的价格，并为开发人员引入了管理API密钥和了解API使用情况的新方法。 新模型包括：两个新的嵌入模型、一个更新的GPT-4 Turbo预览模型、一个...
-
GPT-4「变懒」bug被修复，价格暴降80%！OpenAI连更5款新模型，性能狂飙
GPT-4又双叒叕变强了！ 今天，OpenAI正式发布了更新版的GPT-4 Turbo——gpt-4-0125-preview。 不仅大幅改善了模型「偷懒」的情况，而且还极大地提升了代码生成的能力。 图片 与此同时，OpenAI还发布了一系列模型和API...
-
文心一言大数据模型-文心千帆大模型平台
官网： 文心千帆大模型平台 (baidu.com 文心千帆大模型 (baidu.com 模型优势 1、模型效果优：所需标注数据少，在各场景上的效果处于业界领先水平 2、生成能力强：拥有丰富的AI内容生成（AIG...
-
利用 ChatGPT 高效搜索：举一反三的思考方式，高效查找解决方案
本文只是我的一些尝试，基于 ChatGPT 实现系统化快速搜索某编程语言的特定领域相关包或者基于其他语言类推荐落地方案的尝试。 这篇文章中描述的方式不一定是好方式，但应该会有一定的启示作用吧。让 ChatGPT 为我们的开发效率添砖加瓦。 基础思路 在学...