-
Llama中的曼巴：通过推测解码加速推理
大型语言模型（LLMs）已经彻底改变了自然语言处理领域，但在处理非常长的序列时面临重大挑战。主要问题来自于Transformer架构的计算复杂度随序列长度呈二次方增长以及其巨大的键值（KV）缓存需求。这些限制严重影响了模型的效率，特别是在推理过程中，使生成...
-
LongLLaMA：扩展上下文处理能力的大型语言模型
LongLLaMA：扩展上下文处理能力的大型语言模型 long_llamaLongLLaMA is a large language model capable of handling long contexts. It is based on Ope...
-
震撼发布！阿里通义FunAudioLLM：重塑自然语音交互新纪元，开源引领语音处理革命！
近年来，人工智能的进步如 GPT-4o 和 Gemini-1.5极大地改变了人与机器的互动方式，2023这种转变在语音处理领域尤为明显。 阿里巴巴通义实验室近日发布并开源了 FunAudioLLM，这是一个旨在增强人与大型语言模型（LLMs）之间...
-
《Llama 3大模型》技术报告中英文版，95页pdf
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。本文对Llama...
-
专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。 为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。 V...
-
探索LLaMA Factory：一站式大模型微调平台
探索LLaMA Factory：一站式大模型微调平台 LLaMA-Factory易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址:https://gitcode.com/gh_mir...
-
Science官宣允许AI写作！学会AI工具将是科研人的必修课
《科学》(Science）期刊今年修改了投稿规则： 允许在论文的「方法」章节说明后，正当地采用生成式人工智能（AI）和大型语言模型制作插图、撰写论文内容。 这意味着Science及旗下子刊推翻了 2023 年 1 月所设定...
-
大模型应用新战场：揭秘终端侧AI竞争关键
2024年过去2/3，大模型领域的一个共识开始愈加清晰: AI技术的真正价值在于其普惠性。没有应用，基础模型将无法发挥其价值。 于是乎，回顾这大半年，从互联网大厂到手机厂商，各路人马都在探索AI时代Killer APP的道路上狂奔。这股风潮，也开始在顶级学...
-
在 iPhone 15 Pro 上运行 Llama-3.1 8B；使用扩散模型生成类人绘画过程的工具；使用ChatGPT自动生成思维导图
✨ 1: MLX Examples 在 iPhone 15 Pro 上运行 Llama-3.1 8B 基于 MLX 机器学习推理框架轻松将 「Llama-3.1 8B」在 iPhone 15 Pro 上运行🤯 代码已开源！ 地址：http...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
llama.cppllama.cpp 是一个C++库，用于简化LLM推理的设置。它使得在本地机器上运行Qwen成为可能。该库是一个纯C/C++实现，不依赖任何外部库，并且针对x86架构提供了AVX、
llama.cpp llama.cpp - Qwen llama.cpp 是一个C++库，用于简化LLM推理的设置。它使得在本地机器上运行Qwen成为可能。该库是一个纯C/C++实现，不依赖任何外部库，并且针对x86架构提供了AVX、AVX2和AVX5...
-
Llama-X 开源项目指南
Llama-X 开源项目指南 Llama-XOpen Academic Research on Improving LLaMA to SOTA LLM项目地址:https://gitcode.com/gh_mirrors/ll/Llama-X 项目...
-
使用 ORPO 微调 Llama 3
原文地址：https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada 更便宜、更快的统一微调技术 2024 年 4 月 19 日 ORPO 是一种新的令人兴奋的微调技...
-
一文看懂llama2(原理&模型&训练）
一文看懂Llama2（原理&模型&训练） 一、引言 Llama2是Meta（原Facebook AI）最新开源的大型语言模型，它基于Transformer架构进行了多项优化和改进，旨在提供更高效、更准确的自然语言处理能力。Llama2...
-
《史上最简单的SpringAI+Llama3.x教程》-05-打破界限，Function Calling在业务场景中的应用
什么是Function Calling Function Calling 是一种技术，它允许大型语言模型（如GPT）在生成文本的过程中调用外部函数或服务。 这种功能的核心在于，模型本身不直接执行函数，而是生成包含函数名称和执行函数所需参数的JSON，...
-
【AI】准备放弃“文心一言”，不再续费
百度真是把一手好牌打的稀烂，最近感觉文心一言起步很猛，但是能力越来越差。 不要说毫无技术极客精神，几乎没有斗志和追求了。 有2个案例，让我非常的失望。 第一个案例体现了它的不诚实，过度的商业“考量”。第二个案例体现了它的不专业。 第一个提示词对比：...
-
6小时完成Llama 3.1-8B适配并开源！MindSpore Transformers大模型套件使能开发者创新
北京时间7月24号, Meta 正式发布 Llama 3.1开源大语言模型, 包含8B、70B 及 405B 参数版本。其中的Llama 3.1 405B模型，在多项基准测试中可以媲美GPT4、Claude3.5等目前最强的闭源大模型。此外，8B 与 70...
-
Llama 3.1 这一最强模型按时降临！扎克伯格最新的访谈表明：Llama 将会成为 AI 领域中的 Linux 。
🐱 个人主页：TechCodeAI启航，公众号：TechCodeAI 🙋♂️ 作者简介：2020参加工作，专注于前端各领域技术，共同学习共同进步，一起加油呀！ 💫 优质专栏：AI相关最新技术分享（目前在向AI方向发展，欢迎大佬交流） 📢 资料...
-
8G显存运行Llama 3.1 405B！
我正在接受挑战，在只有 8GB VRAM 的 GPU 上运行 Llama 3.1 405B 模型。 Llama 405B 模型有 820GB！这是 8GB VRAM 容量的 103 倍！ 显然，8GB VRAM 无法容纳它。那么我们如何让它工作呢？...
-
【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起
前不久，Meta开源了LLaMA 3.1 405B【1】，模型扩展了上下文长度至 128K，支持八种语言，效果非常惊艳，是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型，已经赶上截至目...
-
一周打完1000场官司，中科院发布首个AI法庭AgentCourt
在人工智能重塑各个行业的今天，法律界也迎来了前所未有的变革。传统的法律实践面临着效率低下、成本高昂等挑战，而AI技术的出现为解决这些问题提供了新的可能。 从最初斯坦福小镇火遍全网，25个由大语言模型（LLMs）驱动的智能体生活交友，打开了多Agent新视角...
-
Meta AI新动向：Llama 4瞄准GPT-4，Agent技术或成研发重点
Meta的AI研发进展 Meta的AI科学家Thomas Scialom在最近的采访中透露了Llama系列大型语言模型的最新动态。Scialom谈到了Llama 3.1的研发思路，并展望了即将到来的Llama 4模型。他表示，Llama 3.1是在追求与...
-
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的...
-
零成本部署秘籍：Llama 3本地使用全攻略，轻松实现高效模型运行！
Meta公司的Llama 3大模型引领AI新篇章 各位朋友，我是袋鼠帝。 近日，真正的“OpenAI”——Meta公司，对“Close AI”进行了有力回应，推出了其开源大模型系列的最新力作——Llama 3。自Llama 1起，这个系列便以其卓越性能在...
-
论文分析｜高效长文本生成的技术与应用
Preface 前言 目前大模型公司很多在追求长文a本， 对算力需求极大，如何能够现实地处理该问题很重要。特别是随着Transformer模型尺寸和复杂性的增长，它们在训练期间的内存需求呈指数级增加。 语言模型训练的瓶颈在于显存占用非常大，这需要创...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！
阿里巴巴开源了最新视觉多模态模型Qwen2-VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名闭源模型，成为目前最强多模态模型之一。 Qwen2-VL支持中文、英文、...
-
智谱AI静悄悄的上线了一大波新模型，过年了，真的。
智谱29日下午在KDD2024上面，悄咪咪的上线了一堆的超级更新。 我真的服了，我本来今天从泰国回来，准备休一天假的，结果晚上又坐在电脑面前被迫营业。 他们总是每次，静悄悄的就把4个2给扔出去了。 嗯，就一场演讲了，发布了一堆新模型还有新功能，个顶个都很...
-
7 大国产大模型：KimiChat、豆包、文心一言、智谱清言、通义千问、讯飞星火、天工AI，到底哪家强？
有的朋友还不了解 AI 工具，或者跟老王一样，不知道该选哪个 AI 工具。 怎么办？先看看别人都用哪个。 新榜（著名三方自媒体数据平台），根据各自媒体平台的数据，统计了 AI 产品的用户使用等多个维度，分析得出了综合评分，展示如下。 第 3 和...
-
探索Llama 3.1 : 405B参数模型：部署、硬件配置、测试与训练的心得
引言 随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（NLP）领域取得了显著的突破。MetaAI最新发布的Llama 3.1 : 405B参数模型，凭借其庞大的参数规模和先进的架构，展...
-
ViT篇外：NVIDIA Llama-3.1-Minitron 4B
相关阅读： ViT：3 Compact Architecture MobileLLM：“苗条”的模型比较好！ 大家也许会很好奇为什么在ViT章节插入了NVIDIA Llama-3.1-Minitron 4B，ViT因为应用场景的特殊性所以都寄...
-
AIGC是怎么为拥有5000家门店的行业头部企业做内容分发？
在AI的发展过程中，我们也曾走过弯路。最初，我们都沉浸在通过海量数据训练出超级智能的幻想中，但随着时间的推移，我们逐渐意识到，在商业应用中，技术的稳定性和可靠性远比单纯的先进性更为重要。特别是在面向企业的应用场景中，客户需要的是稳定、可靠的服务，而不是可能...
-
【黄啊码】三分钟学会文心一言
（一）什么是文心一言 文心一言是百度研发的 人工智能大语言模型产品，能够通过上一句话，预测生成下一段话。 任何人都可以通过输入【指令】和文心一言进行对话互动、提出问题或要求，让文心一言高效地帮助人们获取信息、知识和灵感。 *指令（prompt）其实就...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
苹果AI iPhone定档；Llama 3.1爆冷；马斯克站台AI安全监管法案 | AI头条
整理 | 王启隆 出品 | AI 科技大本营（ID：rgznai100） 一分钟速览新闻点！ 苹果宣布 9 月 10 日举行发布会 马斯克宣布将支持 SB 1047 AI 安全监管法案 特朗普：没人比马斯克更懂 A...
-
AIGC大模型实践总结（非常详细）零基础入门到精通，收藏这一篇就够了
大模型浪潮席卷全球，在各行各业中的重要性愈发凸显，呈现出一股不可逆转的发展趋势。这一年本人所在业产技也在这一过程中持续探索和尝试AIGC。本文一方面是对AIGC实践的总结回顾，同时也是本人学习实践AIGC过程中一些笔记、心得分享。因个人能力限制，文章中可能...
-
使用gradio部署微调后的模型
文章目录 概要 整体架构流程 技术细节 小结 概要 使用gradio部署微调后的模型 整体架构流程 gradio前期学习，以下是一些常见的输入输出组件，有些即可输入也可输出 gr.Audio(sources=['mi...
-
在LangChain中使用Llama.cpp：从安装到实践
在LangChain中使用Llama.cpp：从安装到实践 引言 Llama.cpp是一个高效的C++库，用于在CPU上运行大型语言模型（LLMs）。本文将介绍如何在LangChain中集成和使用Llama.cpp，包括安装、设置以及使用LLM和嵌...
-
Llama 3模型：多维度损失函数铸就大语言模型新巅峰
在人工智能领域,大型语言模型(Large Language Models, LLMs 的发展如火如荼。作为这一领域的佼佼者,Llama系列模型一直备受关注。随着Llama 3的横空出世,其在模型架构、训练方法等方面的创新再次引发业界热议。本文将深入探讨Ll...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
llamafile本地安装配置并部署及远程测试大语言模型详细实战教程
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越...
-
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel
常见的大模型框架：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel： 大模型框架是指用于训练、推理和部署大型语言模型（LLMs）的软件工具和...
-
LLaMA3技术报告解读
前言 LLaMA系列算法是Meta公司发布的开源大模型。近期Meta公司又发布了LLaMA 3.1系列的模型，在这一系列模型中参数量最大的高达405B，上下文窗口多达128K个token。同时对模型进行了广泛的实证评估，发现在很多任务中，LLaMA 3...
-
ECCV2024 | 小成本微调CLIP大模型！CLAP开源来袭：零样本和少样本训练有救了！
论文链接：https://arxiv.org/pdf/2311.16445 代码链接：https://github.com/YichaoCai1/CLAP 亮点直击 解耦潜在内容和风格因素：本文提出了一种通过对比学习和数据增强，从因果角度微...
-
4060显卡+LLaMA-Factory微调LLM环境准备——（一）安装cuda
本地配置 系统：win10**硬件：**i5-12490f+RTX4060 安装原因： 最近尝试在本地对开源LLM进行Fine-tune的时候，用到了LLaMA-Factory，在运行的时候，弹出未检测到GPU，后来才发现，是忘记安装cuda等...
-
Llama 3.1论文中文对照翻译
The Llama 3 Herd of Models 模型群 Llama 3 Llama Team, Al @ Meta 1...
-
ChatGLM-6B入门
ChatGLM-6B ChatGLM-6B 一、介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
从早期的 GPT 模型到如今复杂的开放式 LLM，大型语言模型 (LLM 的发展已经取得了长足的进步。最初，LLM 训练过程仅侧重于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和校准，这是由 ChatGPT 推广的。 自 Chat...
-
检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows 和检索增强生成(RAG 。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？ 文章...