-
视频生成模型Sora的全面解析：从AI绘画、ViT到ViViT、DiT、VDT、NaViT、VideoPoet
前言 真没想到，距离视频生成上一轮的集中爆发(详见《Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0》 才过去三个月，没想OpenAI一出手，该领域又直接变天了 自打2.16日OpenAI发...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速...
-
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。 他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Paramet...
-
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
一、引言 Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。 为了更深入地理解Llama 2的...
-
高质量论文中文翻译：Lag-Llama: 朝向基础模型的概率时间序列预测 Lag-Llama: Towards Foundation Models for Probabilistic Time S
Lag-Llama: 朝向基础模型的概率时间序列预测Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting 文章目录 摘要 介绍 我们的贡献...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，今夜重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人...
-
逻辑推理大翻车！GPT-4、Gemini被曝重大缺陷，LLM严重降智
近期，谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时，前提信息的呈现顺序对其表现具有决定性影响。 在逻辑推理和数学问题中，前提按照逻辑自然顺序排列时，模型表现更佳。对于大型语言模型，改变前提叙述顺序会导致性能大幅下降，尤其是在添...
-
GPT-4、Gemini同时被曝重大缺陷，逻辑推理大翻车！DeepMind上交校友团队发现LLM严重降智
最近，谷歌DeepMind和斯坦福的研究人员发现：大模型在处理逻辑推理任务时，问题中信息呈现的顺序对模型的表现有着决定性的影响。 论文地址：https://arxiv.org/abs/2402.08939 具体来说，当信息按照逻辑上的自然顺序排列时，模...
-
YOLO不死！YOLOv9出炉：性能速度SOTA~
本文经自动驾驶之心公众号授权转载，转载请联系出处。 如今的深度学习方法专注于设计最适合的目标函数，以使模型的预测结果与实际情况最接近。同时，必须设计一个合适的架构，以便为预测获取足够的信息。现有方法忽略了一个事实，即当输入数据经过逐层特征提取和空间变换...
-
国内高校打造类Sora模型VDT，通用视频扩散Transformer被ICLR 2024接收
2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。 为什么 Sora...
-
图像生成发展起源：从VAE、扩散模型DDPM、DETR到ViT、Swin transformer
前言 2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如 2014 R-CNN 2015 Fast R-CNN、...
-
AIGC报告：大模型改变开发及交互环境，处于高速迭代创新周期
今天分享的是AIGC系列深度研究报告：《AIGC报告：大模型改变开发及交互环境，处于高速迭代创新周期》。 （报告出品方：华安证券） 报告共计：64页 LLM大模型爆发的关键节点: 2017年“Transformer”模型的出现 • 在“Tran...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
Stable Diffusion原理详解
Stable Diffusion原理详解 最近AI图像生成异常火爆，听说鹅厂都开始用AI图像生成做前期设定了，小厂更是直接用AI替代了原画师的岗位。这一张张丰富细腻、风格各异、以假乱真的AI生成图像，背后离不开Stable Diffusion算法。 S...
-
Llama 2论文详解
摘要 Llama 2是一组经过预训练和微调的大语言模型，参数规模从70亿到700亿不等，其中，Llama 2-Chat是针对对话用例进行优化的微调模型。在大多数基准测试中优于开源chat模型，在人类评估中表现出色，特别是在有用性和安全性方面。因此，Lla...
-
开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用
刚刚，谷歌杀入开源大模型。 开源领域大模型，迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 Gemma 官方页面：https://ai.goo...
-
爆火Sora背后的技术，一文综述扩散模型的最新发展方向
为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。因...
-
Latent Diffusion Models / Stable Diffusion（LDM）
High-Resolution Image Synthesis with Latent Diffusion Models（CVPR 2022）https://arxiv.org/abs/2112.10752latent-diffusionstable-di...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人印象深刻的是，还...
-
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
多转一致性的系统消息 - System Message for Multi-Turn Consistency 在对话设置中，某些指示应适用于所有对话轮次。 例如，简洁地响应，或"充当"某个公众人物。当我们向Llama 2-Chat提供此类指示时，后...
-
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以...
-
世界模拟器才是AGI终局，12态势预测！首席专家万字长文专业解读Sora里程碑
这几天反复看Sora的技术报告，以及各方对Sora的技术分析。 基本三个角度：惊呼强大功能，分析Sora（实现）大法，评估巨大冲击。 冲击方面，主要关注点在于对影视、短视频、娱乐等领域的影响。 但是，Sora改变AI认知方式，开启走向「世界模拟器」的史诗...
-
Karpathy新视频又火了：从头构建GPT Tokenizer
技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。 这不，前脚新项目刚上线，后脚全新的教学视频又给大伙整出来了： 这次，是手把手教咱构建一个GPT Tokenizer（分词器），还是熟悉的时长（足足2小时13分钟）。 Ps. 上次讲课还是俩月前的...
-
被字节辟谣的中文版Sora，究竟厉害在哪里？
撰稿 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） 近日，市场有消息称，在Sora引爆文生视频赛道之前，国内的字节跳动也推出了一款新型视频模型Boximator，与Gen-2、Pink1.0等既有模型相比，Boximator的独特...
-
深度学习在时间序列预测的总结和未来方向分析
2023年是大语言模型和稳定扩散的一年，时间序列领域虽然没有那么大的成就，但是却有缓慢而稳定的进展。Neurips、ICML和AAAI等会议都有transformer 结构(BasisFormer、Crossformer、Inverted transf...
-
Sora新视频只发TikTok：OpenAI 4天涨粉10万
Sora新视频，变成“抖音独占”了。 悄无声息，OpenAI正式杀入TikTok，加上洗脑配乐直接让人刷到停不下来，疯狂引流吸粉中: 短短4天，涨粉10万，50万赞——这还是不打枪不宣传的情况下。 这以后，人类创作者还怎么玩? Sora新视频，只发Tik...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
【AIGC】大语言模型
大型语言模型，也叫大语言模型、大模型（Large Language Model，LLM；Large Language Models，LLMs） 什么是大型语言模型 大型语言模型（LLM）是指具有数千亿（甚至更多）参数的语言模型，它们是通过在大规模文本数...
-
大型多视角高斯模型LGM：5秒产出高质量3D物体，可试玩
为满足元宇宙中对 3D 创意工具不断增长的需求，三维内容生成（3D AIGC）最近受到相当多的关注。并且，3D 内容创作在质量和速度方面都取得了显著进展。 尽管当前的前馈式生成模型可以在几秒钟内生成 3D 对象，但它们的分辨率受到训练期间所需密集计算的限...
-
RNN模型挑战Transformer霸权！1%成本性能比肩Mistral-7B，支持100+种语言全球最多
在大模型内卷的同时，Transformer的地位也接连受到挑战。 近日，RWKV发布了Eagle 7B模型，基于最新的RWKV-v5架构。 Eagle 7B在多语言基准测试中，击败了所有的同级别模型，在单独的英语测试中，也和表现最好的模型基本打平。 同时...
-
AIGC音视频工具分析和未来创新机会思考
编者按：相较于前两年，2023年音视频行业的使用量增长缓慢，整个音视频行业遇到瓶颈。音视频的行业从业者面临着相互竞争、不得不“卷”的状态。我们需要进行怎样的创新，才能从这种“卷”的状态中脱离出来？LiveVideoStack 2023上海站邀请到了P...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
Stable Diffusion 笔记一：网络结构拆解
SD由三大组件组成：VAE，CLIP，Unet。 一VAE： VAE是Variational Autoencoder的缩写，中文名变分自编码器，是一种基于深度学习的生成模型。 １潜空间图片与像素图片： 像素图片是正常使用的图片，通常包含主体的物体人...
-
AIGC内容分享(二)：全球大模型技术与应用分析
目录 前言 人工智能技术回顾 AIGC近期动态梳理 1. 国内动态 2. 国外动态 3. OpenAI的关键动作 4. AIGC的技术变革 AIGC的关键应用 1. AIGC应用背后的驱动力 2. AIGC的三大原能力 3. AI...
-
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了...
-
基本概念:什么是ChatGPT和AIGC？
1.背景介绍 1. 背景介绍 自2012年的AlexNet成功地赢得了ImageNet Large Scale Visual Recognition Challenge，深度学习技术开始引以为奎。随着算法的不断发展和优化，深度学习技术已经应用...
-
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略 目录 使用 PyTorch FSDP 微调 Llama 2 70B 引言 FSDP 工作流 使用的硬件 微调 LLa...
-
只需任意一张人物图片，就可以生成该人物的科目三舞蹈视频 - AIGC 中的 Image-to-Video 技术
这是儿子寒假在家，我和他一起玩阿里通义千问后的一篇笔记。 通义千问有一个全民舞王的功能。选择一个舞蹈模版，然后上传一张人物全身照片，即可生成一段10秒钟左右的视频。 卡通人物的图片也行。 比如我用了弗利萨大王和沙鲁的图片： 点击立即生成按钮，...
-
Stable Diffusion结构解析-以图像生成图像（图生图，img2img）
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习...
-
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南 LLaMA的简介 LLaMA模型的主要结构 Transformer架构 多层自注意力层 前馈神经网络 Layer Normalization和残差连接 LLaMA模型的变体 Base版本 La...
-
Stable Diffusion InstantID 炸裂！只需要一张图就可以换脸 ｜ 详细教程
最近AI换脸又火起来了， 小红书 InstantX 团队发布了一款最新的换脸技术 InstantID 和之前的主流的训练 lora 换脸不同，InstantID 只需要上传一张图就可以实现换脸以及姿势替换！ 一 InstantID 介绍 I...
-
ChatGPT研究报告：AIGC带来新一轮范式转移
本文约4000字，目标是快速建立AIGC知识体系，含有大量的计算专业名词，建议阅读同时扩展搜索。 一、行业现状 1、概念界定 区别于PGC与UGC不同的，AIGC是利用人工智能技术自动生成内容的新型生产方式。 2、数据模...
-
上海人工智能实验室发布LLaMA-Adapter | 如何1小时训练你的多模态大模型用于下游任务
本文首发于微信公众号 CVHub，未经授权不得以任何形式售卖或私自转载到其它平台，违者必究！ Title: LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-...
-
用通俗易懂的方式讲解：十分钟读懂 Stable Diffusion 运行原理
AIGC 热潮正猛烈地席卷开来，可以说 Stable Diffusion 开源发布把 AI 图像生成提高了全新高度，特别是 ControlNet 和 T2I-Adapter 控制模块的提出进一步提高生成可控性，也在逐渐改变一部分行业的生产模式。惊艳其出色表...
-
Stable Diffusion结构解析-以图像生成图像！
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） AIGC专栏3——Stable Diffusion结构解析-以图像生成图像（图生图，img2img）为例 学习...
-
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
论文地址：https://arxiv.org/pdf/2307.09288.pdfd 代码地址：GitHub - facebookresearch/llama-recipes: Examples and recipes for Llama 2 model...
-
酒精和肠内外健康：有帮助还是有害？
谷禾健康 酒精与健康 饮酒作为一种特殊的文化形式，在我们国家有其独特的地位，在几千年的发展中，酒几乎渗透到日常生活、社会经济、文化活动之中。 据2018年发表的《中国饮酒人群适量饮酒状况》白皮书数据显示，中国饮酒人...
-
AIGC 语言大模型研究报告
AIGC 研究报告 这份报告可以被划分为两大部分。 第一部分集中于ChatGPT的发展和运作原理，为了增强理解，我们将先探讨自然语言处理的历史发展。 第二部分主要聚焦于由大模型引领的新的研究领域，并深入介绍在每个领域中可以进行的具体研究工作及思...
-
AIGC：人工智能生成技术的新兴领域
1.背景介绍 1. 背景介绍 人工智能生成技术(AIGC 是一种利用机器学习和自然语言处理等技术来自动生成自然语言文本或其他形式的内容的技术。这种技术在近年来取得了显著的进展，为各种应用场景提供了强大的支持。本文将从背景、核心概念、算法原理、...
-
AI绘画Stable Diffusion原理之扩散模型DDPM
前言 传送门： stable diffusion：Git｜论文 stable-diffusion-webui：Git Google Colab Notebook部署stable-diffusion-webui：Git kaggle...