-
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
LLaMA-Factory ——一个高效、易用的大模型训练与微调平台。它支持多种预训练模型，并且提供了丰富的训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。 LLaMA-Factory的优势在于其简单易用的界面和强大的功能。用户可以在不编写...
-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
如何在Android上运行Llama 3.2
引言 随着Llama 3.2的发布，Meta在将强大的语言模型带到边缘和移动设备方面取得了重大进展。Llama 3.2包含了专为智能手机和平板电脑高效运行而设计的轻量级模型（1B和3B参数）。本教程将指导您通过MLC LLM库对Llama 3.2模型进...
-
【大模型与AIGC】VLM基础知识汇总
这里写目录标题 LLM输入时的理解 1. Tokenizer的实现：Word极大似然估计 LLM推理：关于Attention mask的理解 1. CausalModel 与 AttentionMask 2. attention mask乘法...
-
开源语音实时交互新突破：LLaMA-Omni实现大语言模型无缝语音交互
像 GPT-4o 这样的模型通过语音实现了与大型语言模型（LLMs）的实时交互，与基于文本的传统交互相比，显著提升了用户体验。然而，目前在如何构建基于开源 LLMs 的语音交互模型方面仍缺乏探索。为了解决这个问题，我们提出了 LLaMA-Omni，这是一个...
-
Llama Farm 项目教程
Llama Farm 项目教程 llama_farm Use local llama LLM or openai to chat, discuss/summarize your documents, youtube videos, and so o...
-
在矩池云使用 Llama-3.2-11B-Vision 详细指南
Llama 3.2-Vision是Meta开发的一系列多模态大型语言模型（LLMs），包含11B和90B两种规模的预训练和指令调整模型。 这些模型专门优化用于视觉识别、图像推理、字幕生成和回答有关图像的一般问题。Llama 3.2-Vision模型在常见...
-
中文法律LLaMA (Lawyer LLaMA) 使用教程
中文法律LLaMA (Lawyer LLaMA 使用教程 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/law...
-
什么是Agentic RAG？
Agentic RAG是检索增强生成(Retrieval-Augmented Generation, RAG 技术的一种高级形式,它通过引入人工智能代理(Agent 的概念,为语言模型赋予了更高层次的智能和自主性。以下是Agentic RAG的主要特点和优...
-
LLaMa-Factory入门教程
LLaMa-Factory是一个基于人工智能技术的开源项目，专为大型语言模型（LLMs）的微调而设计。它提供了丰富的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。以下将详细介绍如何使用LLaMa-Factory：...
-
中科院提出GPT-4o实时语音交互的开源对手：Llama-Omni
论文：LLaMA-Omni: Seamless Speech Interaction with Large Language Models地址：https://arxiv.org/pdf/2409.06666 研究背景 研...
-
【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章
前言 在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背景、特点、部...
-
AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍
快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM ，名为AMD-135M”。 相比于越来越庞大的大语言模型(LLM ，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。 AMD-135小模型隶属于Llama家族，有两个版...
-
LLM大模型之Rag检索增强生成演变成GraphRAG
RefAug：prompt增强训练LLM https://github.com/ytyz1307zzh/RefAug Learn Beyond The Answer: Training Language Models with Reflect...
-
LLaMA-Factory 安装和配置指南
LLaMA-Factory 安装和配置指南 LLaMA-Factory 易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。 项目地址: https://gitcode.com/gh_m...
-
1500+ HuggingFace API token暴露，使数百万 Meta-Llama、Bloom 等大模型用户面临风险
HugginingFace 和 GitHub 是AI开发人员的重要平台，因此我们决定对这些平台做更为深入的研究。在这项研究中，我们发现了数以千计的 API 令牌，这些令牌暴露给恶意行为者，使数百万最终用户可能受到攻击。 本文的主要内容包括：...
-
使用Ollama本地部署Llama 3.1大模型
Llama 3.1 介绍 2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可...
-
Meta Llama 3介绍及其关键技术
随着深度学习算法的突破和发展，语言模型已经成为连接人与机器的重要桥梁。在这一领域中，Meta的Llama 3 作为最新一代的大规模预训练模型，凭借其卓越的性能和广泛的应用前景，正逐渐成为行业内的佼佼者。 Llama 3 的研发团队继承了前代模型的技术优势...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
Emacs Copilot 安装与使用指南
Emacs Copilot 安装与使用指南 emacs-copilotLarge language model code completion for Emacs项目地址:https://gitcode.com/gh_mirrors/em/emacs-...
-
【人工智能AIGC技术开发】第1课-RAG+Agent人工智能
RAG+Agent人工智能平台：RAGflow实现GraphRA知识库问答，打造极致多模态问答与AI编排流体验 1.RAGflow简介 最近更新： 2024-09-13 增加知识库问答搜索模式。 2024-09-09 在 Agent 中加入...
-
微软Copilot将集成到新加坡的法律科技平台中
新加坡的律师现在可以使用微软的生成式人工智能（Gen AI）工具Copilot，但在拥抱这项技术的同时，仍需牢记人工监督的重要性。 Microsoft 365的Copilot已集成到该国的法律技术平台中，该平台于2022年推出，旨在支持法律工作流程，并包...
-
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench 的性能评估的最佳...
-
基于Llama构建的语音语言模型LLaMA-Omni；增强记忆的长文本建模检索方法；全功能的AI应用AnythingLLM
✨ 1: LLaMA-Omni LLaMA-Omni是基于Llama-3.1-8B-Instruct构建的语音语言模型，支持高质量低延迟的语音互动。 LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的语音语言模型...
-
丹摩智算平台部署 Llama 3.1：实践与体验
文章目录 前言 部署前的准备 创建实例 部署与配置 Llama 3.1 使用心得 总结 前言 在最近的开发工作中，我有机会体验了丹摩智算平台，部署并使用了 Llama 3.1 模型。在人工智能和大模型领域，Meta 推出的 Lla...
-
[从0开始AIGC][LLM]：LLM中Encoder-Only or Decoder-Only？为什么主流LLM是Decoder-Only？
LLM中Encoder-Only or Decoder-Only & 为什么主流LLM是Decoder-Only？ 文章目录 LLM中Encoder-Only or Decoder-Only & 为什么主流LLM是Dec...
-
【记录贴 | 持续更新】搜广推/aigc 面试题记录
目录 nlp/搜广推 transformer结构？ 位置编码的作用？ 解释 self-attention？ attention中 /√(d_k 的作用是什么？ 解释Multi-Head Attention？ FeedForward的作用...
-
128 深入解析Llama Index的响应合成生成 llamaindex.core.response_synthesizers.generation.py
深入解析Llama Index的响应合成生成 在自然语言处理（NLP）领域，Llama Index 是一个强大的工具，用于构建和处理复杂的语言模型。本文将深入探讨 Llama Index 中的生成器模块（Generation），并通过详细的代码示例和技...
-
Stable Diffusion 使用详解（12）--- 设计师风格变换
目录 背景 seg模型（语义分割） 描述 原理 实战-装修风格变换 现代风格 欧式风格转换 提示词及相关参数设置 模型选择 seg cn 加持 效果 还能做点啥 问题 解决方法 出图效果 二次优化调整 二次出图效果 地...
-
AI几小时设计芯片超越人类！谷歌AlphaChip登Nature，已设计出三代旗舰TPU
【新智元导读】谷歌的AlphaChip，几小时内就能设计出芯片布局，直接碾压人类专家!这种超人芯片布局，已经应用在TPU、CPU在内的全球硬件中。人类设计芯片的方式，已被AI彻底改变。 能设计芯片的AI黑科技来了! 就在刚刚，谷歌DeepMind推出名为A...
-
探索Llama 3.1：开源模型的本地部署与创新应用实践
文章目录 1 Llama 3.1模型的突破性进展 2 Llama 3.1模型在业务场景中的实践案例 3 使用教程 4 Llama 3.1在客户服务中的运用 1 Llama 3.1模型的突破性进展 在数字化转型的浪潮中，大型语言模型...
-
大模型——LLaVA和LLaMA的介绍和区别
LLaVA和LLaMA是两个不同的模型架构，它们的设计目的和应用领域有所不同： LLaMA（Large Language Model Meta AI） 简介：LLaMA是由Meta AI推出的一系列大规模语言模型（Large Language M...
-
将LLaMA模型导出为ONNX格式的教程
将LLaMA模型导出为ONNX格式的教程 export_llama_to_onnx export llama to onnx 项目地址: https://gitcode.com/gh_mirrors/ex/export_llama_to_onn...
-
解决LLaMA Factory的webUI界面显示“错误”的问题
按照官网使用PAI-DSW出现“错误” 执行llamafactory-cli version后显示webUI但是每行都变成“错误” 解决办法 1.查看是否完整执行官网命令 pip uninstall -y vllm pip install l...
-
用TensorRT-LLM进行LLama的推理和部署
Deploy an AI Coding Assistant with NVIDIA TensorRT-LLM and NVIDIA Triton | NVIDIA Technical BlogQuick Start Guide — tensorrt_llm...
-
豆包MarsCode 初体验，用React创建一个最经典的贪吃蛇游戏
以下是「 豆包MarsCode 体验官」优秀文章，作者Find。 背景 在人工智能快速发展的时代，大模型（LLM）只要有足够的算力和数据就可以做到任何的事情，甚至可以模拟出另一个地球。LLM作为一个革命化的科技，可以取代很多岗位，甚至可以让人类达到...
-
LLaMA-Factory源码分析
搭建远程容器调试环境 docker-compose部署 使用LLaMA-Factory源码中的docker/docker-cuda下的Dockerfile和docker-compose.yml构建镜像，启动其服务。Dockerfile使用官方默认，只需...
-
轻松掌握 Llama 3.1：轻松本地部署与远程使用的全攻略
前言: Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄...
-
Llama 3.1 技术研究报告-2
3.3 基础设施、扩展性和效率 我们描述了⽀持Llama 3 405B⼤规模预训练的硬件和基础设施，并讨论了⼏项优化措施，这些措施提⾼了训练效率。 3.3.1 训练基础设施 Llama 1和2模型在Meta的AI研究超级集群（Lee和Sengup...
-
在线教程丨超大模型部署无压力！一键运行 Llama 3.1 405B 和 Mistral Large 2
作者：李宝珠 编辑：xixi、李宝珠 HyperAI超神经为大家上线了 Llama 3.1 405B 和 Mistral Large 2407 的一键部署教程，无需输入任何命令，只需点击「克隆」即可体验。 当地时间 7 月 23 日...
-
Emacs Copilot：你的智能编程伙伴
Emacs Copilot：你的智能编程伙伴 emacs-copilotLarge language model code completion for Emacs项目地址:https://gitcode.com/gh_mirrors/em/emacs...
-
llama_ros：ROS 2中的AI融合工具包
llama_ros：ROS 2中的AI融合工具包 llama_ros llama.cpp for ROS 2 项目地址: https://gitcode.com/gh_mirrors/ll/llama_ros 项目介绍 llama_...
-
万字长文｜LLM大模型基础入门（非常详细）从入门到精通系列之：（三）Transformer 架构
...
-
使用 Ollama、Llama 3.1 和 Milvus 实现Function Calling 功能
将函数调用（Function Calling）与 LLM 相结合能够扩展您的 AI 应用的能力。通过将您的大语言模型（LLM）与用户定义的 Function 或 API 集成，您可以搭建高效的应用，解决实际问题。 本文将介绍如何将 L...
-
编译运行 llama.cpp (vulkan, Intel GPU SYCL)
llama.cpp 是一个运行 AI (神经网络 语言大模型的推理程序, 支持多种 后端 (backend , 也就是不同的具体的运行方式, 比如 CPU 运行, GPU 运行等. 但是编译运行 llama.cpp 并不是那么容易的, 特别是对于 SY...
-
Llama-GitHub 项目教程
Llama-GitHub 项目教程 llama-github Llama-github is an open-source Python library that empowers LLM Chatbots, AI Agents, and Auto...
-
姚期智院士大模型新研究：思维图DoT，用数学理论确保AI逻辑一致性
姚期智院士领衔，推出大模型新推理框架，CoT“王冠”戴不住了。 提出思维图（DiagramofThought），让大模型思考更像人类。 团队更是为这种推理过程提供了数学基础，通过拓扑斯理论（Topos Theory）正式化（formalize）DoT，确保...
-
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型 引言 在人工智能和自然语言处理领域，大型语言模型（LLMs）的应用越来越广泛。llama-cpp-python 是一个强大的工具，它为 llama.cpp 提供了...
-
GPUStack正式发布: 为大模型而生的开源GPU集群管理器
经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行LLM（大型语言模型）的开源GPU集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使...
-
Llama模型家族之拒绝抽样(Rejection Sampling)（五）蒙特卡罗算法在拒绝抽样中：均匀分布与样本接受标准
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...