-
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。 为什么 Sora...
-
Stable Diffusion 3震撼发布，采用Sora同源技术，文字终于不乱码了
继 OpenAI 的 Sora 连续一周霸屏后，昨晚，生成式 AI 顶级技术公司 Stability AI 也放了一个大招 ——Stable Diffusion 3。该公司表示，这是他们最强大的文生图模型。 与之前的版本相比，Stable Diffus...
-
Stable Diffusion WebUI 踩坑记录
文章目录 install Homebrew install python 3.10 clone stable diffusion web 设置 pip 国内源 install 如果 torch 安装有问题可以这样安装 Install GFPG...
-
谷歌开源Gemma，为端侧AI浇了桶油
2月21日，谷歌正式对外发布开源大模型Gemma。 这距离谷歌上一次大模型Gemini 1.5的发布，还不到一周的时间，事关大模型的竞争愈演愈烈。 2月15日，OpenAI发布Sora，Sora文生视频的能力，再度震惊整个行业。 彼时，就连此前在文生视...
-
出圈的Sora带火DiT，连登GitHub热榜，已进化出新版本SiT
虽然已经发布近一周时间，OpenAI 视频生成大模型 Sora 的影响仍在继续！ 其中，Sora 研发负责人之一 Bill Peebles 与纽约大学助理教授谢赛宁撰写的 DiT（扩散 Transformer）论文《Scalable Diffusion...
-
Java ChatGPT和文心一言是两个不同的工具，它们有着不同的用途和功能
Java ChatGPT和文心一言是两个不同的工具，它们有着不同的用途和功能。 Java ChatGPT：ChatGPT是由OpenAI开发的自然语言处理模型，可以进行对话生成。它基于深度学习技术，通过训练大量的数据来理解用户输入并生成相应的回答。Ja...
-
深度学习在时间序列预测的总结和未来方向分析
2023年是大语言模型和稳定扩散的一年，时间序列领域虽然没有那么大的成就，但是却有缓慢而稳定的进展。Neurips、ICML和AAAI等会议都有transformer 结构(BasisFormer、Crossformer、Inverted transf...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
Stable Diffusion原理详解（附代码实现）
一、前言 回顾AI绘画的历史，GAN（Generative Adversarial Nets）是比较出众的一个。GAN的出现让AI绘画成为可能，当时GAN给AI绘画提供了一种新的思路，现在回顾当时的绘画可以算是相当粗糙。 gan-results....
-
AIGC系列之：实时出图的SDXL Turbo模型介绍
原理介绍 StabilityAI在刚刚发布Stable Video Diffusion之后，2023年11月29日又发布了爆炸性模型：SDXL Turbo，SDXL Turbo是在SDXL 1.0的基础上采用新的蒸馏方案，让模型只需要...
-
基本概念:什么是ChatGPT和AIGC？
1.背景介绍 1. 背景介绍 自2012年的AlexNet成功地赢得了ImageNet Large Scale Visual Recognition Challenge，深度学习技术开始引以为奎。随着算法的不断发展和优化，深度学习技术已经应用...
-
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略 目录 使用 PyTorch FSDP 微调 Llama 2 70B 引言 FSDP 工作流 使用的硬件 微调 LLa...
-
使用deepspeed继续训练LLAMA
目录 1. 数据训练配置 2. 模型载入 3. 优化器设置 4. DeepSpeed 设置 5. DeepSpeed 初始化 6. 模型训练 LLAMA 模型子结构： 1. 数据训练配置 利用 PyTorch 和 Transfo...
-
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南 LLaMA的简介 LLaMA模型的主要结构 Transformer架构 多层自注意力层 前馈神经网络 Layer Normalization和残差连接 LLaMA模型的变体 Base版本 La...
-
基于LLaVA开源模型打造视频聊天助手
简介 大型语言模型已经证明自己是一项革命性的技术。目前，人们已经开发出了许多基于大型语言模型功能的应用程序，而且预计很快还会有更多的应用程序问世。大型语言模型最有趣的应用之一是将其部署为智能助手，它们能够帮助人类用户完成各种任务。 人们已经能够通过指令微...
-
八项指标对比ChatGPT和文心一言
文章目录 前言 特定指标对比： 实际运用对比： 一、算力 二、训练时间 三、算法复杂度 四、模型结构 五、应用场景 六、性能指标 七、可解释性 八、迁移能力 ✍创作者：全栈弄潮儿 ? 个人主页： 全栈弄潮儿的个人主页 ?️ 个人...
-
whisper实践--基于whisper+pyqt5开发的语音识别翻译生成字幕工具
大家新年快乐，事业生活蒸蒸日上，解封的第一个年，想必大家都回家过年，好好陪陪家人了吧，这篇文章也是我在老家码的，还记得上篇我带大家基本了解了whisper，相信大家对whisper是什么，怎么安装whisper，以及使用都有了一个认识，这次作为新年第一篇文...
-
用通俗易懂的方式讲解：使用Llama-2、PgVector和LlamaIndex，构建大模型 RAG 全流程
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。 本文，我们将深入研究使用trans...
-
LLaMA-Factory添加adalora
感谢https://github.com/tsingcoo/LLaMA-Efficient-Tuning/commit/f3a532f56b4aa7d4200f24d93fade4b2c9042736和https://github.com/huggingf...
-
m2安装stable-diffusion报错及解决方案
背景：自己的电脑是macbookpro m2,之前装很多软件都遇到各种问题，不出意外，装这个stable-diffusion一样遇到各种问题，现在总结一下安装过程中遇到的问题。 报错一： Launching Web UI with argument...
-
【AIGC】Diffusers:加载管道、模型和调度程序
前言 拥有一种使用扩散系统进行推理的简单方法对于?扩散器至关重要。扩散系统通常由多个组件组成，例如参数化模型、分词器和调度器，它们以复杂的方式进行交互。这就是为什么我们设计了 DiffusionPipeline，将整个扩散系统的复杂性包装成一个易于使用的...
-
Llama-7b-hf和vicuna-7b-delta-v0合并成vicuna-7b-v0
最近使用pandagpt需要vicuna-7b-v0，重新过了一遍，前段时间部署了vicuna-7b-v3，还是有不少差别的，transforms和fastchat版本更新导致许多地方不匹配，出现很多错误，记录一下。 更多相关内容可见Fastchat实战...
-
AIGC：人工智能生成技术的新兴领域
1.背景介绍 1. 背景介绍 人工智能生成技术(AIGC 是一种利用机器学习和自然语言处理等技术来自动生成自然语言文本或其他形式的内容的技术。这种技术在近年来取得了显著的进展，为各种应用场景提供了强大的支持。本文将从背景、核心概念、算法原理、...
-
Whisper对于中文语音识别与转写中文文本优化的实践(Python3.10)
阿里的FunAsr对Whisper中文领域的转写能力造成了一定的挑战，但实际上，Whisper的使用者完全可以针对中文的语音做一些优化的措施，换句话说，Whisper的“默认”形态可能在中文领域斗不过FunAsr，但是经过中文特殊优化的Whisper就未必...
-
通义千问团队发布Qwen1.5 聊天模型性能大幅提升
在近期几个月的深入探索之后，通义千问团队终于迎来了其开源系列Qwen的下一个重要版本——Qwen1.5。 Qwen1.5的亮点之一是其丰富的模型系列，涵盖了从0.5B到72B的六种不同大小的基础和聊天模型。此外，团队还开源了包括Int4和Int8的GPTQ...
-
通义千问再开源，Qwen1.5带来六种体量模型，性能超越GPT3.5
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。 新版大模型包括六个型号尺寸：0.5B、1.8B、4B、7B、14B 和 72B，其中最强版本的性能超越了 GPT 3.5、Mistral-Medi...
-
MedicalGPT：基于LLaMA-13B的中英医疗问答模型（LoRA）、实现包括二次预训练、有监督微调、奖励建模、强化学习训练[LLM:含Ziya-LLaMA]。
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身...
-
LLaVA：GPT-4V(ision) 的开源替代品
LLaVA（大型语言和视觉助理）（链接：：https://llava-vl.github.io/）是一个很有前途的开源生成式人工智能模型，它复制了OpenAI GPT-4在图像转换方面的一些功能。用户可以将图像添加到LLaVA聊天对话中，允许讨论这些图像...
-
2023-12-12 AIGC-AI工具的基本工作原理
摘要: 2023-12-12 AIGC-AI工具的基本工作原理 AI工具的基本工作原理 AI工具的基本工作原理涉及到一系列复杂的技术和算法。这些原理可以根据不同类型的AI工具进行概括，包括机器学习、自然语言处理、图像识别等。以下是一些关键的A...
-
秒速出图！体验 TensorRT 加速 Stable Diffusion 图像创作
TensorRT 如何加速 Stable Diffusion？ 生成式 AI 图像内容生成技术近年来发展迅速，可以根据人类语言描述生成图片，在时尚、建筑、动漫、广告、游戏等领域有着广泛应用。 Stable Diffusion WebUI 是 Githu...
-
【部署LLaMa到自己的Linux服务器】
部署LLaMa到自己的Linux服务器 一、官方方法（知道就好，具体操作用不上这个） 1、Llama2 项目获取 方法1：有git可以直接克隆到本地 方法2：直接下载 2、LLama2 项目部署 3、申请Llama2许可 4、下载模型权重...
-
不分割成token，直接从字节中高效学习，Mamba原来还能这样用
在定义语言模型时，通常会使用一种基本分词方法，把句子分为词（word）、子词（subword）或字符（character）。其中，子词分词法一直是最受欢迎的选择，因为它在训练效率和处理词汇表外单词的能力之间实现了自然的折中。然而，一些研究指出了子词分词法...
-
详解“小而优”的大语言模型Zephyr 7B
Zephyr是Hugging Face发布的一系列大语言模型，使用蒸馏监督微调(dSFT 在更庞大的模型上进行训练，显著提高了任务准确性。 2023年是属于大语言模型(LLM 和开源的一年。许多初创公司和企业开放了模型和权重的源代码，以应对ChatGPT...
-
Single-Head ViT；Faster Whisper；Transformer KF；Pick-and-Draw
本文首发于公众号：机器感知 Single-Head ViT；Faster Whisper；Transformer KF；Pick-and-Draw SHViT: Single-Head Vision Transformer with Memory Ef...
-
基于LLaMA Factory，单卡3小时训练专属大模型 Agent
大家好，今天给大家带来一篇 Agent 微调实战文章 Agent（智能体）是当今 LLM（大模型）应用的热门话题 [1]，通过任务分解（task planning）、工具调用（tool using）和多智能体协作（multi-agent cooperat...
-
引言:ChatGPT与AIGC技术的发展与应用
1.背景介绍 1. 背景介绍 自2012年的AlexNet成功地赢得了ImageNet Large Scale Visual Recognition Challenge(ILSVRC ，深度学习技术开始引以为奉。随着算法的不断发展和优化，深度...
-
基于医疗领域数据微调LLaMA——ChatDoctor模型
文章目录 ChatDoctor简介 数据构建和训练过程 建立外部知识库 ChatDoctor相比ChatGPT有什么优势？ ChatDoctor的效果 代码解读 train_lora.py文件解读 微调实战 下载仓库并进入目录 创建con...
-
从零开始：了解ChatGPT和AIGC基础
1.背景介绍 1. 背景介绍 自2012年的AlexNet在ImageNet大赛中取得卓越成绩以来，深度学习技术已经成为人工智能领域的重要技术。随着算力的提升和模型的优化，深度学习技术已经取得了巨大的成功，应用于图像识别、自然语言处理、语音识...
-
深度学习（生成式模型）—— stable diffusion：High-Resolution Image Synthesis with Latent Diffusion Models
文章目录 前言 motivation Conditioning Mechanisms 实验结果 如何训练autoencoder LDM性能与autoencoder深度的联系 LDM带来的图像生成速率提升 LDM在图像生成任务上与sota方法比...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
Stable Diffusion XL Turbo 文生图和图生图实践
本篇文章聊聊，如何快速上手 Stable Diffusion XL Turbo 模型的文生图和图生图实战。 写在前面 分享一篇去年 11 月测试过模型，为月末分享的文章做一些技术铺垫，以及使用新的环境进行完整复现。 本篇文章相关的代码保存在 sou...
-
智能助手的巅峰对决：ChatGPT对阵文心一言
在人工智能的世界里，ChatGPT与文心一言都是备受瞩目的明星产品。它们凭借先进的技术和强大的性能，吸引了大量用户的关注。但究竟哪一个在智能回复、语言准确性、知识库丰富度等方面更胜一筹呢？下面就让我们一探究竟。 首先来...
-
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍
无注意力大模型Eagle7B：基于RWKV，推理成本降低10-100 倍 在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2...
-
Whisper——部署fast-whisper中文语音识别模型
whisper：https://github.com/openai/whisper/tree/main 参考文章：Whisper OpenAI开源语音识别模型 环境配置 pip install faster-whisper transformer...
-
【深度学习】AIGC ，ControlNet 论文，原理，训练，部署，实战，教程（一）
论文：https://arxiv.53yu.com/pdf/2302.05543 代码：https://github.com/lllyasviel/ControlNet 得分几个博客完成这个事情的记录了，此篇是第一篇，摘录了一些论文内容。ControlN...
-
AIGC内容分享(三)：AIGC应用：基于RAG构建个人知识库
目录 前言 Collect (收集 收集是什么？ Organize (组织 组织信息 Distill (提炼 提炼信息 Express (表达 表达见解 Finetune调优 调整输出内容 总结一下 前言 在信息爆炸的...
-
Chinese-LLaMA-Alpaca本地搭建（三）
Chinese-LLaMA-Alpaca模型搭建（三） 1、简单介绍 1.1 原版LLaMA模型介绍 1.2 LoRA权重模型 1.3 完整版权重模型 2、模型搭建 2.1 直接到huggingface下载转换后的LLaMA hf模型 2...
-
PAI-ChatLearn ：灵活易用、大规模 RLHF 高效训练框架（阿里云最新实践）
PAI-ChatLearn 是阿里云机器学习平台 PAI 团队自主研发的，灵活易用、大规模模型 RLHF 高效训练框架，支持大模型进行 SFT（有监督指令微调）、RM（奖励模型）、RLHF（基于人类反馈的强化学习）完整训练流程。PAI-ChatLear...
-
【AI】Chinese-LLaMA-Alpaca-2 7B llama.cpp 量化方法选择及推理速度测试 x86_64 RTX 2060 6G 显存太小了
环境 操作系统 CPU 内存 生成量化版本模型 转换出q4_0 q4_k q6_k q8_0模型 cd ~/Downloads/ai/llama.cpp sourvce venv/bin/activate ~/Downloads/...