-
NVIDIA把Llama-3的上下文长度扩展16倍，长上下文理解能力超越GPT-4
在 Llama-3.1 模型发布之前，开源模型与闭源模型的性能之间一直存在较大的差距，尤其是在长上下文理解能力上。 大模型的上下文处理能力是指模型能够处理的输入和输出 Tokens 的总数。这个长度有一个限制，超过这个限制的内容会被模型忽略。一般而...
-
苹果AI iPhone定档；Llama 3.1爆冷；马斯克站台AI安全监管法案 | AI头条
整理 | 王启隆 出品 | AI 科技大本营（ID：rgznai100） 一分钟速览新闻点！ 苹果宣布 9 月 10 日举行发布会 马斯克宣布将支持 SB 1047 AI 安全监管法案 特朗普：没人比马斯克更懂 A...
-
开源智能助手平台Dify是什么？
1.背景 对于国内小公司，怎样通过Ai 将内部流程、产品重新做一次，从而提高人效、给客户带来价值，这是老板们在考虑的问题 ？ 当前市面上的你大模型例如：通义千问、文心一言、kimi、智谱清言、盘古 等，底层能力都非常强大（千亿级参数），但各个模型使用有...
-
VAD-LLaMA：基于大语言模型的视频异常检测和解释（Video Anomaly Detection and Explanation via Large Language Models）
文章目录 问题 方法 整体架构 VE and Feature Extraction Long-Term Context (LTC Module Feature Adaptor LLaMA 训练 流程图 第一阶段：训练VADor 第二阶段...
-
使用gradio部署微调后的模型
文章目录 概要 整体架构流程 技术细节 小结 概要 使用gradio部署微调后的模型 整体架构流程 gradio前期学习，以下是一些常见的输入输出组件，有些即可输入也可输出 gr.Audio(sources=['mi...
-
在LangChain中使用Llama.cpp：从安装到实践
在LangChain中使用Llama.cpp：从安装到实践 引言 Llama.cpp是一个高效的C++库，用于在CPU上运行大型语言模型（LLMs）。本文将介绍如何在LangChain中集成和使用Llama.cpp，包括安装、设置以及使用LLM和嵌...
-
鹅厂也下场，文档解析的痛点是什么？
最近，文档解析赛道颇为火热，产品更新迭代频繁，与各类大模型上下游一样发展势头很劲。6月下旬，鹅厂也在多个产品上线了文档解析功能。 文档智能交互是企业、学术、个人工作中必不可少的一环，作为大模型应用的典型场景之一，它对准确、高效的文档解析工具有着长期需求。...
-
ubuntu系统编译whisper.cpp/talk-llama
1. 项目克隆到本地 git clone https://github.com/ggerganov/whisper.cpp 2. 编译 CPU 版本： sudo apt-get install libsdl2-dev cd whisper.cpp...
-
Llama 3模型：多维度损失函数铸就大语言模型新巅峰
在人工智能领域,大型语言模型(Large Language Models, LLMs 的发展如火如荼。作为这一领域的佼佼者,Llama系列模型一直备受关注。随着Llama 3的横空出世,其在模型架构、训练方法等方面的创新再次引发业界热议。本文将深入探讨Ll...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
llamafile本地安装配置并部署及远程测试大语言模型详细实战教程
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越...
-
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
常见的大模型框架：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel： 大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
4060显卡+LLaMA-Factory微调LLM环境准备——（一）安装cuda
本地配置 系统：win10**硬件：**i5-12490f+RTX4060 安装原因： 最近尝试在本地对开源LLM进行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等...
-
LLaMA 3 背后的大规模 GPU 集群 RoCE 网络建设
模型越来越大，需要的 GPU 越来越多；与此同时 GPU 性能也在不断增强，配套的网络带宽也不断增加到 400G（Blackwell GPU 甚至需要到 800 Gbps）。Ranking 模型还在迁移到 GPU 的早期阶段，但使用 GPU 的规模也在不断...
-
小琳AI课堂：Llama——NLP界的多面手
? Llama: NLP界的多面手 ? 引言： 大家好，这里是小琳AI课堂。今天，我们要探索的是自然语言处理（NLP）领域的一位明星——Llama。? Llama，由Meta AI（原Facebook AI）开发，以其轻量级、高效和易用性著称，是处...
-
一文看懂llama2 (原理&模型&训练)
LLaMA2是一种基于Transformer架构的先进语言模型，广泛应用于自然语言处理（NLP）任务，如文本生成、机器翻译和问答系统等。本文将从其核心原理、模型结构以及训练方法三个方面进行详细探讨。 一、核心原理 LLaMA2的核心原理是基于自注意力机...
-
Code Llama使用手册
Code Llama 是 Llama 2 的一系列最先进的开放访问版本，专门用于代码任务，我们很高兴发布与 Hugging Face 生态系统的集成！ Code Llama 已使用与 Llama 2 相同的宽松社区许可证发布，并且可用于商业用途。 今天，...
-
中国开源大模型、论文、专利的数量，领先美国
8月26日，美国著名非营利科技智库ITIF在官网发布了，一份名为《中国在AI领域的创新程度如何?》的深度调查报告。 其实这份报告更像是一份成绩单，主要揭示了中国在大模型、生成式AI领域的发展现状，包括开源模型的能力、论文/专利数量、科研机构、顶级AI公司、...
-
Llama 3.1论文中文对照翻译
The Llama 3 Herd of Models 模型群 Llama 3 Llama Team, Al @ Meta 1...
-
LLaMA Factory微调Llama3模型
LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。 ?GPU推荐使用24GB显存的A10（ecs.gn7i-c8g1.2xlar...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
软硬件：win11,NVIDIA GeForce RTX 3050 显存4g 一.ollama模型最低要求 1. Llama 3.1 (8B 模型 GPU: 至少需要 1 张具有 16 GB 显存的 GPU（例如 NVIDIA Tesla V1...
-
黄仁勋对谈扎克伯格：Llama 4或将摆脱聊天机器人形态
黄仁勋认为，Llama 2的发布是2023年最重要的AI事件。 北京时间7月30日清晨，英伟达创始人兼CEO黄仁勋与Meta创始人兼CEO马克·扎克伯格，在美国丹佛举行的第50届SIGGRAPH图形大会上完成了一场60分钟的公开对话。 上周刚刚发布...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
推荐使用：Llama Coder - 自主托管的高效代码补全工具
推荐使用：Llama Coder - 自主托管的高效代码补全工具 llama-coderReplace Copilot with a more powerful and local AI项目地址:https://gitcode.com/gh_mirro...
-
LLAMA 3.1 论文的见解
这有什么大不了的？ LLAMA 3.1 的发布标志着 AI 开发的一个重要里程碑。开源模型首次接近领先的闭源模型的性能水平。这一转变预示着未来开源模型同样有效，任何人都可以灵活地修改和调整它们。马克·扎克伯格将此与 Linux 的开源性质进行了比较，...
-
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三...
-
AI风险管理新利器：SAIF CHECK利用Meta Llama 3保障合规与安全
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
微调LLama 3.1——七月论文审稿GPT第5.5版：拿早期paper-review数据集微调LLama 3.1
前言 为更好的理解本文，建议在阅读本文之前，先阅读以下两篇文章 七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4 提升大模型数据质量的三大要素：找到早期paper且基于GPT摘要出来7方面revi...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...
-
基于autodl与llama-factory部署llama3-8B开源大模型
一、注册与购买autodl实例 注册了autodl账号以后，我们便可以在网站首页看到具体的实例信息，同时能够观察其具体的系统盘与数据盘以及缓存大小，对于我们即将微调的llama3开源大模型来说，通过资料的查询了解，我们只需要24G显存就可...
-
Llama 3.1深度解析：405B、70B及8B模型的多语言与长上下文处理能力
Llama 3.1 发布了！今天我们迎来了 Llama 家族的新成员 Llama 3.1 进入 Hugging Face 平台。我们很高兴与 Meta 合作，确保在 Hugging Face 生态系统中实现最佳集成。Hub 上现有八个开源权重模型 (3 个...
-
语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了! Transformer...
-
Llama 3.1中文微调数据集已上线，超大模型一键部署
7 月的 AI 圈真是卷完小模型卷大模型，精彩不停！大多数同学都能体验 GPT-4o、Mistral-Nemo 这样的小模型，但 Llama-3.1-405B 和 Mistral-Large-2 这样的超大模型让很多小伙伴犯了难。 别担心！hyper.a...
-
五个优秀的免费 Ollama WebUI 客户端推荐
认识 Ollama 本地模型框架，并简单了解它的优势和不足，以及推荐了 5 款开源免费的 Ollama WebUI 客户端，以提高使用体验。 什么是 Ollama？ Ollama 是一款强大的本地运行大型语言模型（LLM）的框架，它允许用户在自己...
-
部署本地语音聊天机器人：在Seeed Studio reComputer Jetson上部署Riva和Llama2
本地语音聊天机器人：在Seeed Studio reComputer Jetson上部署Riva和Llama2 所有教程都免费开源，请动动小手点个小星星https://github.com/Seeed-Projects/jetson-examples...
-
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
【导读】 适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近，结果英伟达转头就甩出了340B开源巨兽Ne...
-
AIStarter更新ollama+openwebui教程，使用千问2和llama3.1最新大模型
熊友们，从易到难啊，整合包做起来相对复杂一些，咱可以先学习一下怎么在AIStarter里面升级AI项目，因为Docker用不了，什么原因咱不知道，所以很多熊友迫切的希望熊哥更新ollama+openwebui这个项目，那就以这个项目为例，给大家演示一下熊哥...
-
【LLM】一、利用ollama本地部署大模型
目录 前言 一、Ollama 简介 1、什么是Ollama 2、特点： 二、Windows部署 1.下载 2.安装 3.测试安装 4.模型部署： 5.注意 三、 Docker部署 1.do...
-
【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)
前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低...
-
最强终端部署的多模态MiniCPM-V模型部署分享（不看后悔）
MiniCPM-V模型是一个强大的端侧多模态大语言模型，专为高效的终端部署而设计。 目前该模型有MiniCPM-V 1.0、MiniCPM-V 2.0和MiniCPM-Llama3-V 2.5版本。 MiniCPM-V 1.0模型：该模型系列第一个版本...
-
快速体验LoRA微调Llama3-8B模型以及海光DCU推理加速（曙光超算互联网平台国产异构加速卡）
序言 本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，对 Llama3-8B-Instruct 模型进行 LoRA 微调、合并和推理。 一、参考资料 github仓库代码：LLaM...
-
探索法律智能的新高度：Lawyer LLaMA 项目深度解析
探索法律智能的新高度：Lawyer LLaMA 项目深度解析 lawyer-llama中文法律LLaMA (LLaMA for Chinese legel domain 项目地址:https://gitcode.com/gh_mirrors/la/la...
-
Llama改进之——分组查询注意力
引言 今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA 1。 Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同...
-
树莓派4B部署及测试llamafile
重点：不要用树莓派的官方镜像（至少20240808目前的还不支持llamafile，会报错llamafile: prog mmap failed w/ errno 12），查看llamafile github项目下别人的做法是重新换成Ubuntu serv...
-
通过剪枝与知识蒸馏优化大型语言模型：NVIDIA在Llama 3.1模型上的实践与创新
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
Llama-2-Open-Source-LLM-CPU-Inference 使用教程
Llama-2-Open-Source-LLM-CPU-Inference 使用教程 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on...
-
1张Nvidia A100 80G部署Lamma3 70b 4bit的性能测试
这里写自定义目录标题 硬件 部署模型 硬件性能监控工具 GPU监控工具 CPU和系统内存监控工具 部署框架 命令 测试脚本与结果 输出定量token测试 prompt 脚本 Test Result 输入定量token测试 prom...
-
OpenAI反对美国SB-1047法案，会杀死开源大模型！
OpenAI向美国加州参议员Scott Wiener写了一封反对SB1047法案的信。 SB1047是美国加州在今年2月7日拟定的一项针对开源大模型的法案，其中有非常多不合理的条款，例如，如果有人微调了Meta最新发布的Llama-3.1模型，去开发一些恶...