-
英伟达开源3400亿巨兽，98%合成数据训出最强开源通用模型！性能对标GPT-4o
【新智元导读】刚刚，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonn...
-
AI画连环画角色更一致了！人物之间的复杂互动也能处理｜中山大学&联想团队出品
让AI画漫画角色保持一致的新研究来了! 创作的连环画效果belike: 频繁切换主体、人物之间复杂的互动也能保持角色一致性: 上述效果来自AutoStudio，是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。 AutoStudio采用基...
-
Meta Llama 3 性能提升与推理服务部署
利用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能 我们很高兴地宣布 NVIDIA TensorRT-LLM 支持 Meta Llama 3 系列模型，从而加速和优化您的 L...
-
Scaling Law触礁「数据墙」？Epoch AI发文预测LLM到2028年耗尽所有文本数据
【新智元导读】训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。 数据和算力，是AI大模型最重要的两把...
-
大模型理解复杂表格，字节&中科大出手了
只要一个大模型，就能解决打工人遇到的表格难题! 字节联手中科大推出了一款统一表格理解大模型，可以以用户友好的方式解决多种表格理解任务。 同时提出的还有一套开源测试基准，可以更好地评估模型在表格理解任务上的表现。 该模型名为TabPedia，利用多模态大模...
-
从零开始搭建LLaMA-Factory
准备写一个完整教程： 手动卸载原先驱动和cuda（英伟达自带的驱动升级程序闪退崩溃） 官网下载驱动、cuda、cudnn 逐一安装（系统装驱动，cuda与cudnn。然后anaconda虚拟环境装pytorch） 安装llama factory 微调...
-
大型语言模型（LLMs）在AIGC中的核心地位
本文收录于专栏：精通AI实战千例专栏合集 https://blog.csdn.net/weixin_52908342/category_11863492.html 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践...
-
Py之llama-parse：llama-parse(高效解析和表示文件)的简介、安装和使用方法、案例应用之详细攻略
Py之llama-parse：llama-parse(高效解析和表示文件 的简介、安装和使用方法、案例应用之详细攻略 目录 llama-parse的简介 llama-parse的安装和使用方法 1、安装 2、使用方法 第一步，获取API...
-
Llama 3 CPU推理优化指南
备受期待的 Meta 第三代 Llama 现已发布，我想确保你知道如何以最佳方式部署这种最先进的 (SoTA LLM。在本教程中，我们将重点介绍如何执行仅权重量化 (WOQ 来压缩 8B 参数模型并改善推理延迟，但首先，让我们讨论一下 Meta Lla...
-
基于Llama 2家族的提示词工程：Llama 2 Chat, Code Llama, Llama Guard
Prompt Engineering with Llama 2 本文是学习 https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/ 的学习笔记。...
-
用 Unsloth 微调 LLaMA 3 8B
用 Unsloth 微调 LLaMA 3 8B 今年4月份，Meta 公司发布了功能强大的大型语言模型（LLM）Llama-3，为从事各种 NLP 任务的开发人员提供了功能强大可以在普通机器上运行的开源LLM。然而，传统的 LLM 微调过程既耗时又耗费资...
-
基于Ascend C的FlashAttention算子性能优化最佳实践
本文分享自华为云社区《基于Ascend C的FlashAttention算子性能优化最佳实践》，作者：昇腾CANN。 LLM的Attention部分处理给计算系统带来巨大的计算和访存压力。业界先后出现FlashAttention、FlashAttenti...
-
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码：绝对位置、相对位置、旋转位置编码
[从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 文章目录 [从0开始AIGC][Transformer相关]：一文看懂Transformer中的位置编码 1. 位置编码 1.1 绝对位...
-
国产Sora来了！清华发布视频生成大模型“视界一粟YiSu”
快科技6月12日消息，据媒体报道，北京极佳视界科技有限公司联合清华大学自动化系正式发布我国首个超长时长、高性价比的Sora级视频生成大模型视界一粟 YiSu”。 该大模型拥有模型原生的16秒超长时长，并可生成至1分钟以上视频。据介绍，YiSu模型成本更低、...
-
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
一、背景 在过去的一年多里，国内在大模型领域的发展异常迅速，涌现出上百个大模型，许多模型已经迭代了多个版本，并且各种指标不断刷新。与此同时，我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么，国内的大模型真的已...
-
使用 Amazon SageMaker 微调 Llama 2 模型
本篇文章主要介绍如何使用 Amazon SageMaker 进行 Llama 2 模型微调的示例。 这个示例主要包括: Llama 2 总体介绍 Llama 2 微调介绍 Llama 2 环境设置 Llama 2 微调训练 前言...
-
FP6精度单卡运行Llama 70B模型，性能飞跃引领大模型时代
在深度学习领域，模型的运行效率和精度一直是研究者们追求的目标。最近，微软DeepSpeed团队在这一领域取得了突破性进展，他们在没有英伟达官方支持的情况下，成功在NVIDIA A100 GPU上实现了FP6精度的运行，这一成就不仅提升了计算速度，还保持了计...
-
transformers 阅读：Llama 模型
正文 学习一下 transformers 库中，Llama 模型的代码，学习过程中写下这篇笔记，一来加深印象，二来可以多次回顾。 笔者小白，里面错误之处请不吝指出。 层归一化 LlamaRMSNorm transformers 中对于 Llam...
-
AI日报：MJ推模型个性化功能；ComfyUI完成SD3 Medium模型适配；字节上线AI交友“小黄蕉”；微信输入法内测AI功能
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、Midjourney推出模型个...
-
AI生图格局大震！Stable Diffusion 3开源倒计时，2B单机可跑碾压闭源Midjourney
重磅消息!Stable Diffusion3，大概率会在明天开源。距离2月SD3的横空出世，已经过去了4个月。如果此事为真，生图圈子第一个出现开源碾压闭源的奇景!强大的MMDiT全新架构，将彻底改变AI生图的格局。现在，全体AI社区都在翘首以盼。 万众瞩目...
-
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小（苹果的是3B，谷歌的是2B），并且消耗大量内存，这在很大程度上限制了其应用场景。 即使是苹果，目前也需要与OpenAI合作，通过将云端GPT-4...
-
【AIGC调研系列】进行大模型调用开发使用的框架有哪些
AIGC大模型进行调用开发使用的框架包括但不限于以下几种： LangChain：这是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型（LLM）和聊天机器人驱动的应用程序的过程[8...
-
基于 langchain 和大语言模型 (LLM) 的自然语言数据库查询系统 (RAG)——data copilot
data-copilot ✨ 基于 langchain 和大语言模型 (LLM 的自然语言数据库查询系统 (RAG 通过自然语言提问，使用大语言模型智能解析数据库结构，对数据进行智能多表结构化查询和统计计算，根据查询结果智能绘制多种图表。 Pyw...
-
Perplexica 是 Perplexity.ai 的开源 AI 搜索引擎替代品
Perplexica 是一个开源项目，旨在提供一个隐私保护的 AI 搜索引擎，作为 Perplexity AI 等专有选项的替代方案。它利用大型语言模型（LLMs）和人工智能功能，提供了一个开放的搜索解决方案。 产品入口：https://top.aiba...
-
大模型算法(一)：从Transformer到ViT再到LLaMA
单任务/单领域模型 深度学习最早的研究集中在针对单个领域或者单个任务设计相应的模型。 对于CV计算机视觉领域，最常用的模型是CNN卷积模型。其中针对计算机视觉中的不同具体任务例如分类任务，目标检测任务，图像分割任务，以CNN作为骨干backbone，加...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
《The end of Software》争议不断：AIGC下的软件行业是不是80年代的传统媒体行业？
要理解软件将如何变化，我们可以从研究技术如何改变其他行业中获益。如果你倾听，历史往往会有韵律。 在互联网之前，媒体的行为方式非常不同——它很贵。 你必须支付人们制作内容、编辑它和分发它。因为内容的制作成本很高，所以它必须赚钱。消费者为报纸、杂志、书籍、有线...
-
大模型系列：LLaMA大模型简述和本地部署实践
内容摘要 LLaMA大模型背景介绍 LLaMA网络结构相比Transformer的改进 LLaMA中文化Atom大模型简述 在Python中调用HuggingFace LLaMA模型 基于text-generation-webui部署LLaMA问答平...
-
iOS 18来了！苹果骚操作：本地AI功能至少要8GB内存 劝退一众iPhone
快科技6月10日消息，据国外媒体报道称，苹果本地AI功能将至少需要8GB内存，这对于众多老iPhone而言不是好消息。 报道中提到，iOS 18中的本地AI功能将需要至少8GB的内存，这意味着iPhone 15 Pro以上的设备和配备M1芯片的iPad将成...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
20K star！搞定 LLM 微调的开源利器LLaMA Factory
20K star！搞定 LLM 微调的开源利器LLaMA Factory 关于LLM 微调 优化型技术 计算型技术 LLaMA Factory 是什么 使用 LLaMA Factory 模型导出 LLaMA-Factory 结构 总结 项目...
-
LLaMA 2语言大模型的微调策略：LoRA与全参数选择
随着自然语言处理（NLP）技术的飞速发展，大型语言模型（LLMs）在各个领域都展现出了强大的能力。LLaMA 2作为其中的佼佼者，具有巨大的潜力。然而，如何有效地对LLaMA 2进行微调，以适应特定的任务或数据集，成为了一个关键问题。本文将对LoRA技术与...
-
2024年AIGC行业研究：多模态大模型与商业应用
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大...
-
RAFT：引领 Llama 在 RAG 中发展
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
使用LLM2Vec将Llama 3转变为一个嵌入模型
文章目录 LLM2Vec：您的LLM也是一个嵌入模型 使用LLM2Vec将Llama 3转变为文本嵌入模型 为 RAG 设置 Llama 3 文本嵌入模型 结论 原文：Benjamin Marie Turn Llama 3 into a...
-
GPT-4欺骗人类高达99.16%惊人率！PNAS重磅研究曝出，LLM推理越强欺骗值越高
【新智元导读】最近，德国研究科学家发表的PANS论文揭示了一个令人担忧的现象:LLM已经涌现出「欺骗能力」，它们可以理解并诱导欺骗策。而且，相比前几年的LLM，更先进的GPT-4、ChatGPT等模型在欺骗任务中的表现显著提升。 此前，MIT研究发现，AI...
-
Llama.cpp大模型量化简明手册
大型语言模型 (LLM ，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易...
-
Llama模型家族训练奖励模型Reward Model技术及代码实战（三） 使用 TRL 训练奖励模型
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理
文章目录 文章列表： 背景 简介 llama-factory vllm API 部署 融合 lora 模型权重 vllm API 部署 HuggingFace API 部署推理 API 部署总结 vllm 不使用 API 部署，直接推理...
-
Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理
原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch 了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟 2024 年 4 月 19 日 万...
-
国产大模型最近挺猛啊！使用Dify构建企业级GPTs；AI阅读不只是「总结全文」；我的Agent自媒体团队；官方AI绘画课完结啦！ | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 大模型近期重大进展：百川、讯飞、智源发布新模型，GLM-4、DeepSeek上线开放平台，Google Bard 反超，Mixtral medium 泄...
-
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（十） 使用 LoRA 微调常见问题答疑
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
Salesforce推出Einstein 1 Studio：用于自定义Einstein Copilot并将人工智能嵌入任何CRM应用程序的低代码人工智能工具
一、关键要点 1. Salesforce管理员和开发人员现在可以在每个Salesforce应用程序和工作流程中构建、定制和嵌入人工智能，包括Einstein Copilot。 2. Einstein 1 Studio与数据云深度集成，通过对客户数据和元...
-
X-D-Lab/MindChat-Qwen-7B-v2模型向量化出现llama runner process has terminated: signal: aborted (core dumpe问题
Error: llama runner process has terminated: signal: aborted (core dumped 详细错误日志： 2024-05-21T06:24:45.266916811Z time=2024-05-...
-
【AIGC半月报】AIGC大模型启元：2024.05（上）
AIGC大模型启元：2024.05（上） (1 Video Mamba Suite（Mamba视频领域应用） (2 KAN（全新神经网络架构） (3 Meshy 3（文本生成3D模型） (4 MemGPT（LLM记忆管理框架） (5 ...
-
AI | LLaMA-Factory 一个好用的微调工具
‘’ LLama Factory，这个工具能够高效且低成本地支持对 100 多个模型进行微调。LLama Factory 简化了模型微调的过程，并且易于访问，使用体验友好。此外，它还提供了由 Hiyouga 提供的 Hugging Face 空间，可...
-
【推理框架】超详细！AIGC面试系列 大模型推理系列(1)
本期问题聚焦于大模型的推理框架 本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解l...
-
llama_index微调BGE模型
微调模型是为了让模型在特殊领域表现良好，帮助其学习到专业术语等。 本文采用llama_index框架微调BGE模型，跑通整个流程，并学习模型微调的方法。 已开源：https://github.com/stay-leave/enhance_llm 一、...
-
【AIGC调研系列】DeepSeek模型的优势和劣势
DeepSeek模型的优势主要包括： 多模态能力：DeepSeek-VL能够在不丢失语言能力的情况下融入多模态能力，能够处理包括逻辑图、网页、公式识别、科学文献、自然图像等多种类型的数据，显示出其强大的通用多模式理解能力[1]。 高分辨率图片输入：...
-
本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）
本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。 函数调用介绍 函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用...