-
什么是Agentic RAG？
Agentic RAG是检索增强生成(Retrieval-Augmented Generation, RAG 技术的一种高级形式,它通过引入人工智能代理(Agent 的概念,为语言模型赋予了更高层次的智能和自主性。以下是Agentic RAG的主要特点和优...
-
Stable Diffusion 3「精神续作」FLUX.1 源码深度前瞻解读
前言 前几个月，推出了著名文生图模型 Stable Diffusion 的 Stability AI 公司曝出了核心团队集体离职的消息。一时间，AI 从业者们议论纷纷，不知道这究竟是团队出现了矛盾，还是这些员工觉得文生图模型做下去没有前途了。而近期，该...
-
开源项目教程：Llama
开源项目教程：Llama llama项目地址:https://gitcode.com/gh_mirrors/llam/llama 项目介绍 此教程基于GitHub上的开源项目 nelhage/llama，不过请注意，上述提供的链接并非真实的项目地...
-
关于大模型和AIGC的36条笔记和真话
行业到底有多卷？ 最新统计，中国已有130多个大模型问世，在网信办备案的算法模型也超过70多家。BAT等互联网巨头悉数下场发布AI大模型，仅2023年就有超60家创业公司拿到融资，产品更是布满了基础层、模型层和应用层。新一代生成式AI，可能要回头看看上一...
-
openai whisper使用
whisper使用 介绍 Whisper是一种通用的语音识别模型。它是在大量不同音频数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。 GitHub：https://github.com/openai/whisper...
-
Llama 3.1：开源LLM新突破
在人工智能的浩瀚星海中，每一颗新星的诞生都预示着科技的一次飞跃。Meta 的 Llama 3.1，携带着 4050 亿个参数的庞大身躯，以其卓越的准确性、速度和多模态能力，正引领我们进入一个全新的 AI 时代。这不仅是技术的突破，更是对未来无限可能的一次大...
-
RAG 入门指南：从零开始构建一个 RAG 系统
本文正文字数约 3300 字，阅读时间 10 分钟。 从零开始构建一个应用可以让我们快速理解应用的各个部分。 这个方法其实非常适用于 RAG。 我在以前的文章中有介绍过 RAG 的概念、原理以及应用等，但其实，亲自动手来构建一个 RAG 系统或许能够...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
【导读】 适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近，结果英伟达转头就甩出了340B开源巨兽Ne...
-
WhisperS2T：加速语音转文本的高效解决方案
WhisperS2T：加速语音转文本的高效解决方案 WhisperS2TAn Optimized Speech-to-Text Pipeline for the Whisper Model Supporting Multiple Inference E...
-
最强模型Llama 3.1 405B正式发布，扎克伯格：开源引领新时代
刚刚，大家期待已久的 Llama 3.1 官方正式发布了！ Meta 官方发出了「开源引领新时代」的声音。 在官方博客中，Meta 表示：「直到今天，开源大语言模型在功能和性能方面大多落后于封闭模型。现在，我们正在迎来一个开源引领的新时代。我们公开...
-
Mistral新旗舰决战Llama 3.1，最强开源Large 2 123B，扛鼎多语言编程全能王
【新智元导读】紧跟着Meta的重磅发布，Mistral Large 2也带着权重一起上新了，而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争，还支持单节点部署。 昨天正式发布的Llama 3...
-
【史上最强的AIGC的使用场景和具体案例分析】
AIGC（Artificial Intelligence in Game Creation）是一种利用人工智能技术辅助游戏开发的方法。它可以用于游戏中的各个方面，包括游戏设计、关卡设计、角色设计、AI行为设计等。 以下是一些AIGC的使用场景和具体案例...
-
LLM大模型：一文彻底搞定 RAG、知识库、 Llama-3
简介： Llama-3 用于 RAG，增强大语言模型的性能，整合外部知识。关键组件包括：1 自定义知识库，存储更新的信息；2 分块处理，拆解文本便于管理；3 嵌入模型，转化多模态数据为数值向量；4 向量数据库，快速检索相似性；5 用户聊天界面，交...
-
LLaMA.cpp 是什么？与 GPT 哪个效果更好？
LLaMA.cpp 概述 LLaMA.cpp 是 Facebook LLaMA 模型的 C/C++ 端口，LLaMA 模型是一种大型语言模型 (LLM ，可以生成文本、翻译语言、编写不同类型的创意内容，并以信息丰富的方式回答您的问题。它仍在开发中，但它...
-
AIGC大模型面经汇总，太全了！
字节 暑期实习 多模态算法 (二面凉经 一面 2024/3/28 下午17:00-18:00 1.上来没有自我介绍 2.直接介绍NeurIPS论文，中间穿插着一些提问 3.说一下Transformer的整体结构 4.了解有哪些位置编码方式吗 5.说一...
-
从LLaMa 3 技术报告，再看LLM构建过程 ——《带你自学大语言模型》系列（番外）
本系列目录 《带你自学大语言模型》系列部分目录及计划，完整版目录见：带你自学大语言模型系列 —— 前言 第一部分 走进大语言模型（科普向） 第一章 走进大语言模型 1.1 从图灵机到GPT，人工智能经历了什么？——《带你自学大语言模型...
-
Llama 3.1：Meta迄今为止规模最大、质量最高的开源模型
早在今年4月，Meta就曾透露正在为AI行业开发一项首创技术：一种性能足以与OpenAI等厂商的最强私有模型相媲美的开源模型。 现如今，这套模型已经问世。Meta发布了有史以来体量最大的开源AI模型Llama 3.1。该公司声称该模型在多项基准测试中优于...
-
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
读完全文后，你将获得回答以下问题的能力（参考答案，请见最后一章节）： Llama 3 技术博客说 70B 模型、最长序列 8K、15T Tokens，训练了 640w GPU 时，这发挥了 H100 理论算力（989TFlops）的百分之多少?...
-
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问
LLM大语言模型-ChatGPT、LLaMA、ChatGLM、文心一言、通义千问 一、LLM与PLM主要区别： LLM表现出PLM所没有的Emergent Abilities（涌现能力）,这些能力是LLM在复杂任务上表现惊人的关键，使得得人工智能算...
-
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
前言 按我原本的计划，我是依次写这些文章：解读mamba2、解读open-television、我司7方面review微调gemma2，再接下来是TTT、nature审稿微调、序列并行、Flash Attention3.. 然TTT还没写完，7.23日...
-
【AIGC】Llama-3 官方技术报告
Llama-3 技术报告（中文翻译） 欢迎关注【youcans的AGI学习笔记】原创作品 0. 简介 现代人工智能（AI）系统的核心驱动力来自于基础模型。 本文介绍了一组新的基础模型，称为 Llama 3。它是一个语言模型系列，原生支持多语言...
-
LLama 405B 技术报告解读
LLama 405B 技术报告解读 果然传的消息都是真的，meta在24号凌晨发布了llama 3的405B版本，这次还是做一个技术报告解读。 值得一提的是，在技术报告的开头，meta特意强调了一个 Managing complexity，大意是管控...
-
横店，到底相不相信AI？
横店，一个被竖屏短剧占领的地方，正在被AI分成两半。 一半是对AI兴趣缺缺的短剧制造者们。 在横店的各种拍摄招募信息中，周期为3~ 7 天的项目占去了大部分的版面，数不清的演员、导演、摄影师、化妆师组成了稳定的生产流水线，把扇巴掌、下跪、撒钞票这些程序化的...
-
Stable Diffusion 3 论文及源码概览
天才程序员周弈帆 2024年07月13日 23:30 近期，最受开源社区欢迎的文生图模型 Stable Diffusion 的最新版本 Stable Diffusion 3 开放了源码和模型参数。开发者宣称，Stable Diffusion 3 使用了...
-
大模型应用开发之业务架构和技术架构（从AI Embedded 到 Copilot,再到Agent）_embedding、copilot、agents
前言 截止到目前，我们已经从大模型的定义概念，应用层涉及的一些概念做了些了解。在大模型的应用开发中，RAG、Agent等概念我们之前也做了些简述，没有看过的可以粗略回顾一下：[大模型06-大模型应用开发之准备篇。 本文我们重点讲的就是伴随着大模型的广...
-
本地私有化部署开源大模型完整教程：LangChain + Streamlit+ Llama 【LLM大模型】
在过去的几个月里，大型语言模型(llm 获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使...
-
不用翻墙，手把手教你用MAC本地版免费ComfyUI搭建Stable Diffusion工作流，让出图效率起飞
AI绘图如火如荼发展了这么久，从mj到SD webUI,再到时下最热门的Comfy UI。因为显存的问题对Mac用户一直不是很友好，阻碍了大部分设计师上手学习的道路。但是Comflowy解决了这个痛点。这是一款Mac系统可用本地版的sd，一键安装，让苹果用...
-
揭秘！FFmpeg+Whisper双剑合璧：解锁视频到文本的二阶段奇迹
解锁视频到文本的二阶段奇迹 一、引言 二、视频音频提取与处理 视频音频提取与处理 2.1 环境搭建 2.2 视频音频提取 2.3 音频预处理 示例代码： 三、语音识别与翻译 3.1 加载Whisper模型 3.2 语音识别 3.3 语言检...
-
高质量AIGC/ChatGPT/大模型资料分享
2023年要说科技圈什么最火爆，一定是ChatGPT、AIGC（人工智能生成内容）和大型语言模型。这些技术前沿如同科技世界的新潮流，巨浪拍岸，引发各界关注。ChatGPT的互动性和逼真度让人们瞠目，它能与用户展开流畅对话，回答问题，乃至创作文章和诗歌，展现...
-
嵌入式期末复习--补充（答案来自文心一言）
一、第一章 1、常见的RTOS，嵌入式操作系统的特点 RTOS就是实时操作系统。根据响应时间的不同，可分为以下3类： （1）强实时嵌入式操作系统 响应时间：微妙或毫秒 （2）一般实时嵌入式操作系统 响应时间：毫秒...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
Prompt提示词助力AI写作
AI以极高的效率和还可以的输出质量，得到了许多写作人的青睐，Prompt作为AI写作的核心，通过简短的提示来引导AI生成文本，让写作新手也能轻松自如。 1. 看不下去的行业乱状 让人不禁遗憾的是，国外的开发者都在忙着搞AI科研或者做各种AI应用，而国...
-
AI下的首批失业者：60余人采编团队被裁 只剩一个与AI合作
快科技6月20日消息，据国外媒体报道，人工智能技术的飞速发展，也带来了职业岗位的剧烈变动。 作家本杰明米勒领导着一个60多人的团队，为科技公司撰写文章和专栏，然而，公司为降低成本引入AI技术，导致团队成员相继被裁，最终只留下米勒一人与AI合作。 米勒的团队...
-
AI鬼畜攻占B站：一条视频播放数百万，UP主年更变月更
B站鬼畜区正在掀起一阵新的风潮:AI鬼畜。 先请大家欣赏一条视频: （来源:B站UP主“鸽潭一姐”） 在AI音乐创作神器Suno的加持下，UP主“鸽潭一姐”今年4月在B站发布首条视频《Suno AI热唱【萨菲罗斯男人中的男人】》，就斩获了近500万播放量...
-
【多线程】进程与线程
???来都来了，不妨点个关注叭！?博客主页：欢迎各位大佬!? 文章目录 1. 操作系统 2. 进程 2.1 进程是什么 2.2 进程管理 2.3 进程调度 2.3 内存管理 2.4 进程间通信 3. 线程 3.1 线程是什么 3...
-
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。 即使是苹果，目前也需要与OpenAI合作，通过将云端GPT-4...
-
Yolov10：详解、部署、应用一站式齐全！
一、前言 在过去的几年里，YOLOs由于其在计算成本和检测性能之间的有效平衡，已成为实时目标检测领域的主导范式。研究人员探索了YOLO的架构设计、优化目标、数据扩充策略等，取得了显著进展。然而，依赖非极大值抑制（NMS）进行后处理阻碍了YOLO的...
-
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具
探秘Faster Whisper：一款加速 Whisper 模型训练的高效工具 项目地址:https://gitcode.com/SYSTRAN/faster-whisper 在自然语言处理（NLP）领域，Transformer架构的模型如Whis...
-
我们一起聊聊AI模型组合指南
实施需要周密的计划、资源管理以及采用现代部署实践和工具。 译自A Guide to Model Composition，作者 Sherlock Xu。 考虑一款旨在识别和分类野生动物照片的 AI 驱动的图像识别应用程序。您上传一张远足时拍摄的照片，几分钟...
-
腾讯 PCG 搜广推机器学习框架GPU 性能优化实践
一、为什么 GPU 推荐模型训练框架是刚需 1. PCG 算力集群缺点 最开始的时候，腾讯 PCG 所有的推荐模型训练都是使用 CPU。但随着业务的深入，以及深度学习模型的发展，PCG 算力集群在做下一代推荐模型时会遇到各种问题： 首先，系统网络带宽...
-
Deepseek-V2技术报告解读！全网最细！
深度求索Deepseek近日发布了v2版本的模型，沿袭了1月发布的 Deepseek-MoE（混合专家模型）的技术路线，采用大量的小参数专家进行建模，同时在训练和推理上加入了更多的优化。沿袭了一贯的作风，Deepseek对模型（基座和对话对齐版本）进行了...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
特斯拉Optimus人形机器人进厂打工，娴熟分装电池、自我矫正，还能走更远了
特斯拉人形机器人又解锁了新技能！ 昨日，Tesla Optimus 官方发布了新的 demo 视频，展示了二代 Optimus 人形机器人的最新进展。 这次，Optimus 开始进厂打工了，在特斯拉电池工厂学会了分装电池，并且比以前走得更快更远更稳了。...
-
单卡跑Llama 70B快过双卡，微软硬生生把FP6搞到了A100里 | 开源
FP8和更低的浮点数量化精度，不再是H100的“专利”了！ 老黄想让大家用INT8/INT4，微软DeepSpeed团队在没有英伟达官方支持的条件下，硬生生在A100上跑起FP6。 测试结果表明，新方法TC-FPx在A100上的FP6量化，速度接近甚至...
-
AI视频生成工具ID-Animator：可保持角色一致生成视频动画
近年来，生成具有指定身份的高保真人类视频引起了广泛关注。然而，现有技术在训练效率和身份保持之间往往难以取得平衡，要么需要繁琐的逐案微调，要么在视频生成过程中通常会丢失身份细节。研究提出了一种名为 ID-Animator 的零样本人类视频生成方法，可以在无需...
-
OpenAI陷巨大算力荒，国内大厂抢先破局！打破单芯片限制，算力效率提升33%
国内AI不行，是因为芯片不行？ 我们跟国外的差距，是因为和英伟达芯片的差距过大？ 最近，圈内有许多这样的论调。 其实深挖下去，就会发现事实完全不是这样。即使是英伟达最先进的芯片，依然无法满足当下人工智能在算力上的需求。 随着模型参数量和数据量的增加，智慧...
-
被AI改变的00后娱乐习惯
初见文生图、文生视频的震撼还清晰如同昨日，硬糖君的记忆更停留在AI绘画导致LOFTER用户销号事件——可能是这个冷门社区近年来站得最高的一次。但不到两年时间，AIGC已经随风潜入夜。 如果说AI翻唱、AI换脸、AI绘画还是在借助新工具进行自我表达，那么在互...
-
llama factory学习笔记
模型 模型名 模型大小 默认模块 Template Baichuan2 7B/13B W_pack baichuan2 BLOOM 560M/1.1B/1.7B/3B/7.1B/176B query_key_value - BLOOM...