-
详聊LLaMa技术细节：LLaMA大模型是如何炼成的？
本文介绍来自 Meta AI 的 LLaMa 模型，类似于 OPT，也是一种完全开源的大语言模型。LLaMa 的参数量级从 7B 到 65B 大小不等，是在数万亿个 token 上面训练得到。值得一提的是，LLaMa 虽然只使用公共的数据集，依然取得了强悍...
-
LLAMA-FACTORY：100+语言模型的统一高效微调框架
24年3月来自北航和北大的论文“LLAMA-FACTORY: Unified Efficient Fine-Tuning of 100+ Language Models”。 高效的微调对于将大语言模型 (LLM 适应下游任务至关重要。然而，在不同模型上...
-
【HuggingFace Transformers】LlamaModel源码解析
LlamaModel源码解析 1. LlamaModel 介绍 2. LlamaModel类 源码解析 3. 4维因果注意力掩码生成 1. LlamaModel 介绍 LlamaModel 是一个基于 Transformer 架构...
-
PyTorch-LLaMA 项目使用教程
PyTorch-LLaMA 项目使用教程 pytorch-llama LLaMA 2 implemented from scratch in PyTorch 项目地址: https://gitcode.com/gh_mirrors/py/pyt...
-
AIGC专栏15——CogVideoX-Fun详解 支持图&文生视频 拓展CogVideoX到256～1024任意分辨率生成
AIGC专栏15——CogVideoX-Fun详解 支持图&文生视频 拓展CogVideoX到256～1024任意分辨率生成 学习前言 项目特点 生成效果 相关地址汇总 源码下载地址 CogVideoX-Fun详解 技术储备 Dif...
-
LongLLaMA 项目使用教程
LongLLaMA 项目使用教程 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on OpenLLaMA and...
-
如何微调 Llama 3 进行序列分类？
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学. 针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集： 《大模...
-
手把手带你了解和实践扩充 LLaMA 大语言模型的 tokenizer 模型（实现中文token过程）
目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。 一般的，目前比较主流的是使用sentencepiece训练中...
-
用Transformers库运行Llama-3.1-Minitron-4B
我的笔记本来自8年前的旧时代，勉强能运行8B模型，于是打算试试看更小的…… Llama-3.1-Minitron 4B 简介 Llama-3.1-Minitron 4B 是基于Llama-3.1 8B模型，通过结构化权重剪枝和知识提炼技术优化而成的...
-
AIGC实战——多模态模型Flamingo
AIGC实战——多模态模型Flamingo 0. 前言 1. Flamingo 架构 2. 视觉编码器 3. Perceiver 重采样器 4. 语言模型 5. FIamingo 应用 小结 系列链接 0. 前言 我们已经学习了文...
-
速通LLaMA1：《LLaMA: Open and Efficient Foundation Language Models》全文解读
文章目录 论文总览 1. 创新点和突破点 2. 技术实现与算法创新 3. 架构升级 4. 概念补充 SwiGLU激活函数 AdamW 5. 总结 Abstract Introduction Approach Pre-training...
-
LLaMA-QRLHF 项目使用教程
LLaMA-QRLHF 项目使用教程 llama-qrlhf Implementation of the Llama architecture with RLHF + Q-learning 项目地址: https://gitcode.com/g...
-
【LLM大模型】使用QLoRa微调Llama 2
本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。只有可以对数据进行微调我们才可以将这种大模型进行符合我们数据集的定制化。 一些前置的知识 如果熟悉Google Cola...
-
AIGC的算力与云边协同及应用创新
1）AI的新时代，生成式AI技术重新塑造AI技术的开发及应用 AI的新时代：更关注如何利用生成式AI技术在涉及数字内容的诸多领域实现改变及突破，生成式AI实际上扩大了“内容”的含义，凡是可以数字化的内容形式均为生成对象，而非传统意义下媒体环境的内容。...
-
【扩散模型（八）】Stable Diffusion 3 diffusers 源码详解2 - DiT 与 MMDiT 相关代码（下）
系列文章目录 【扩散模型（一）】中介绍了 Stable Diffusion 可以被理解为重建分支（reconstruction branch）和条件分支（condition branch） 【扩散模型（二）】IP-Adapter 从条件分支的视角，快...
-
Stable Diffusion 3「精神续作」FLUX.1 源码深度前瞻解读
前言 前几个月，推出了著名文生图模型 Stable Diffusion 的 Stability AI 公司曝出了核心团队集体离职的消息。一时间，AI 从业者们议论纷纷，不知道这究竟是团队出现了矛盾，还是这些员工觉得文生图模型做下去没有前途了。而近期，该...
-
rk3588使用npu加速运行whisper语音识别模型
rk3588运行whisper模型有三种方法：1.使用纯cpu运行原始pytorch模型；2.将whisper模型转成onnx格式，再转成rknn格式使用npu运行；3.利用npu提供的矩阵运算功能，结合cpu一起运行原始pytorch模型。方法1做不到实...
-
FastAPI部署大模型Llama 3.1
项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-Instruct FastApi 部署调用.md at master · datawhalechina/self-llm (github.com 目的：使用Aut...
-
探索Meta新发布的大模型：Llama 3.1
最近正好关注到了meta发布的新大模型llama3.1，于是抱着好奇的态度来试一下。 近期，Meta发布了其最新的大模型——Llama 3.1。作为一名科技爱好者和人工智能的追随者，我迫不及待地想要了解这一新模型的性能和特点。本文将带你一起探索Llama...
-
Whisper Web 开源项目教程
Whisper Web 开源项目教程 whisper-webML-powered speech recognition directly in your browser项目地址:https://gitcode.com/gh_mirrors/wh/whi...
-
揭秘AI世界：一网打尽大模型、AIGC等热门概念，快速提升你的学习力！
AI（人工智能） 人工智能 (AI 是对人类智慧行为的仿真。它涵盖了各种技术和领域，目的是让计算机模仿、延伸甚至超越人类智能。 本质就是帮人工作做事的工具。 AGI（通用人工智能） AGI，全称为Artificial General Inte...
-
探索和构建 LLaMA 3 架构：深入探究组件、编码和推理技术
Meta 正在加大在人工智能 (AI 竞赛中的力度，推出了新的开源 AI 模型 Llama 3 以及新版 Meta AI。这款虚拟助手由 Llama 3 提供支持，现已在所有 Meta 平台上可用。 以下是您需要了解的有关 Meta 最新大型语言模...
-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
谷歌创始人重返一线投身AI！坦言当时太胆小 错失先机
快科技9月13日消息，据媒体报道，谷歌联合创始人谢尔盖布林在2024年All-In峰会上接受公开采访时确认，他已重返谷歌一线工作，专注于人工智能相关研发。 布林表示，当前AI技术的快速发展令人震惊，作为计算机科学家，他不愿错过这场技术革命。 布林在访谈中提...
-
探索语言的极限：高效运行LLaMA模型的开源宝藏 —— llama_infer
探索语言的极限：高效运行LLaMA模型的开源宝藏 —— llama_infer llama_inferInference script for Meta's LLaMA models using Hugging Face wrapper项目地址:htt...
-
清华系公司强强联合，一张4090让安全大模型进入千亿时代｜长亭x趋境
AI大行其道的时代，网络安全正面临前所未有的威胁。 化身黑客的AI学会了自动化攻击，还有相当高的成功率，伊利诺伊大学香槟分校研究团队的最新研究显示:GPT-4能够在阅读CVE漏洞描述后，学会利用漏洞攻击，成功率高达87%。 既然攻击方都与时俱进，用上AI新...
-
【AIGC半月报】AIGC大模型启元：2024.08（下）
【AIGC半月报】AIGC大模型启元：2024.08（下）） (1 Nemotron-4-Minitron（Nvidia LLM） (2 VITA（腾讯优图多模态大模型） (3 mPLUG-Owl3（阿里巴巴多模态大模型） (4 ADA...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa_llama模型
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
IBM中国研发裁员与AIGC浪潮下的中国IT产业新篇章：挑战、机遇与未来展望
文章目录 一、跨国公司战略调整与全球IT版图的重构 1. 跨国公司的战略考量 2. 中国IT产业的应对策略 二、人才市场的深刻变革与应对策略 1. 人才流失与再就业压力 2. 人才培养与引进策略 3. 个人职业规划与发展 三、AIGC浪...
-
一文彻底搞懂大模型 - GPT和LlaMA的模型架构
GPT vs LlaMA GPT与LlaMA，作为大语言模型的两大巨擘，均基于Transformer架构却各有千秋。GPT系列以强大的生成能力著称，通过不断增大的参数规模引领复杂语言与推理任务的前沿；而Llama则以开源姿态，通过技术创新提升模型性能，预...
-
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC半月报】AIGC大模型启元：2024.09（上） (1 OCR-2.0（旷视科技） (2 MiniCPM 3.0（面壁智能） (3 RAGLAB（RAG框架） (4 Reflection 70B（HyperWrite）...
-
LLaMA-Factory仓基础功能架构及NPU/GPU环境实战演练
LLaMA-Factory 基础篇 LLaMA-Factory简介 LLaMA-Factory是一个开源的大规模语言模型微调框架，设计用于简化大模型的训练过程。它提供了一个统一的平台，支持多种大模型的微调，包括LLaMA、BLOOM、Mist...
-
如何部署Meta开源大模型Llama2，转换为Huggingface模型的权重文件
如何部署Meta开源大模型Llama2 一、申请下载权限 通过Meta AI官网(https://llama.meta.com/llama-downloads/ 申请下载权限，注意Country/Region选择这里，可能会影响审查速度吧，...
-
快速降低AIGC疑似率
标题：掌握AIGC技术，快速降低疑似率 一、了解AIGC技术基础 在当今数字化时代，人工智能生成内容（AIGC）技术正迅速成为创新和创造力的驱动力。AIGC技术指的是利用人工智能算法自动生成文本、图像、音频和视频等内容的技术。这项技术的应用范围广泛，从...
-
【大模型】llama系列模型基础
前言：llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。 目录 1. llama 1.1 整体结构 1.2 RoPE 1...
-
新一代模型微调方案LLama-Pro ，快来围观！！！
❝ 大家好，我是 Bob! ? 一个想和大家慢慢变富的 AI 程序员? 分享 AI 前沿技术、项目经验、面试技巧! 欢迎关注我，一起探索，一起破圈！? Y LLAMA PRO论文笔记 直达链接： 摘要 这篇论文介绍了一种名为L...
-
GPT-4o不会数r，被外国小哥原地逼疯！ 谷歌论文揭秘Transformer「数不到n」
提示工程师Riley Goodside小哥，依然在用「Strawberry里有几个r」折磨大模型们，GPT-4o在无限次PUA后，已经被原地逼疯!相比之下，Claude坚决拒绝PUA，是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间，来存储...
-
openai whisper使用
whisper使用 介绍 Whisper是一种通用的语音识别模型。它是在大量不同音频数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 GitHub：https://github.com/openai/whisper...
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task01笔记
赛题内容 参赛者需在可图Kolors 模型的基础上训练LoRA 模型，生成无限风格，如水墨画风格、水彩风格、赛博朋克风格、日漫风格...... 基于LoRA模型生成 8 张图片组成连贯故事，故事内容可自定义；基于8图故事，评估LoRA风格的美感度...
-
ACL 2024 | CoCA：自注意力的缺陷与改进
近年来，在大语言模型（LLM）的反复刷屏过程中，作为其内核的 Transformer 始终是绝对的主角。然而，随着业务落地的诉求逐渐强烈，有些原本不被过多关注的特性，也开始成为焦点。例如：在 Transformer 诞生之初，被视为天然具备的长度外推能力，...
-
【AIGC从零开始】AIGC小白学习心得第二讲：3D生成模型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、Stable Video 3D（sv3d） 二、TripoSR 三、LRM系列 1.LRM 2.GS-LRM 3.OpenLRM 四、CRM 五...
-
从【人工智能】到【计算机视觉】，【深度学习】引领的未来科技创新与变革
前几天偶然发现了一个超棒的人工智能学习网站，内容通俗易懂，讲解风趣幽默，简直让人欲罢不能。忍不住分享给大家，点击这里立刻跳转，开启你的AI学习之旅吧！ 前言 – 人工智能教程https://www.captainbed.cn/lzx 1. 引言...
-
混合专家模型（MoE）入门
模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。 Mixtral of Exper...
-
OpenAI GPT-3 Davinci：引领AI写作新纪元
本文还有配套的精品资源，点击获取 简介：OpenAI研发的GPT-3模型，尤其是其Davinci版本，代表了自然语言处理领域的重大突破，具有1750亿参数，提升了AI在理解和生成语言的能力。GPT-3的Davinci版本以顶级性能著称，在多种语...
-
AIGC辅助办公
1.什么是AIGC？ 早期内容生成方式为专业(人士 生成内容(Professional Generated Content，PGC 。 如：音乐专业人士的创作、设计师的平面设计创作 用户生成内容(User Generated Content，UGC 更...
-
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:h...
-
RWKV 已部署到 5 亿台 Windows 电脑？真正开源的新一代 AI 架构
2024 年 9 月 ，RWKV 社区成员发现：Office 系统在自动更新后（版本 2407 及以后）已自带 RWKV 运行库。 在 Windows 系统的 C:\Program Files\Microsoft Office\root\vfs\Pro...
-
AIGC入门（二）从零开始搭建Diffusion！（下）
上篇。https://blog.csdn.net/alxws/article/details/140058117?spm=1001.2014.3001.5502四、前向加噪过程（ForwardProcess.py） 当我们的去噪器设计完成后，接下来，就...
-
使用PyTorch从零构建Llama 3
我们上次发了用PyTorch从零开始编写DeepSeek-V2的文章后，有小伙伴留言说希望介绍一下Llama 3。那么今天他就来了，本文将详细指导如何从零开始构建完整的Llama 3模型架构，并在自定义数据集上执行训练和推理。 [图1]：Llama...
-
大模型之二十七-语音识别Whisper实例浅析
Whisper简介 Whisper是OpenAI于2022年9月开源的一个多语种识别模型，目前支持99种语言，是目前性能最好的开源多语种识别ASR大模型，第一版版使用了68万小时标注好的语料预训练模型，而large-v3的标注数据超过了500万小时，其...