-
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐
探索LLaMA模型的无限可能：LLaMA API服务器项目推荐 llama-api An OpenAI-like LLaMA inference API 项目地址: https://gitcode.com/gh_mirrors/ll/llama...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
丹摩智算平台部署 Llama 3.1：实践与体验
文章目录 前言 部署前的准备 创建实例 部署与配置 Llama 3.1 使用心得 总结 前言 在最近的开发工作中，我有机会体验了丹摩智算平台，部署并使用了 Llama 3.1 模型。在人工智能和大模型领域，Meta 推出的 Lla...
-
llama_ros：ROS 2中的AI融合工具包
llama_ros：ROS 2中的AI融合工具包 llama_ros llama.cpp for ROS 2 项目地址: https://gitcode.com/gh_mirrors/ll/llama_ros 项目介绍 llama_...
-
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型
使用 llama-cpp-python 在 LangChain 中运行 LLM 模型 引言 在人工智能和自然语言处理领域，大型语言模型（LLMs）的应用越来越广泛。llama-cpp-python 是一个强大的工具，它为 llama.cpp 提供了...
-
LLM入门——在Colab上部署Llama2
LLM入门——在Colab上部署Llama2 2024/07/09 本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。 对于LLM入门学者，我推荐从Large Language...
-
从零到一，打造顶尖RAG应用！揭秘RAG技术构建全流程！
通过本文你可以了解到： 什么是RAG？ 如何搭建一个RAG应用？ 目前开源的RAG应用有哪些？ RAG简介 检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，整合了从庞大知识库中检索到...
-
人工智能 | MetaLlama大模型
llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，...
-
小白学大模型：LLaMA-Factory 介绍与使用
最近这一两周看到不少互联网公司都已经开始秋招提前批了。 不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。...
-
LLaMa系列模型详解（原理介绍、代码解读）：LLaMa_llama模型
LLaMA详解 LLaMA（Large Language Model Meta AI）是由Meta（前身为Facebook）开发的一种大规模语言模型，旨在提高自然语言处理（NLP）任务的性能。LLaMA基于变换器（Transformer）架构，并经过大...
-
AI智能体是什么？AI智能体工程师前景如何？
在人工智能飞速发展的今天，AI智能体（AI Agent）逐渐走进了公众视野。对于AI领域的初学者来说，理解AI智能体的概念、组成和应用场景是入门的关键。码叔今天为你揭开AI智能体AI Agent的神秘面纱，带你一探究竟。 AI智能体的能力与大模型紧密相连...
-
【全网最全】AIGC产品经理面试高频100题答案解析
【全网最全】AIGC产品经理面试高频100题答案解析 说明： 1）目前干货文档总字数9.57万，不管是模型基本功还是每个问题的答案都尽可能详尽； 2）重点给大家深度讲解了机器学习、深度学习、AIGC三个大方向的13个经典模型 3）每个模型从实现...
-
书单 | 大模型的书那么多，如何快速选到适合自己的那一本？来，教你！
大模型的书这么多，该怎么选呢？ 本期书单就来教大家怎么快速地从众多大模型书中选到你想要的那一本！ 大模型基础 大模型入门不可错过的一本书，就是这本大模型界的经典畅销书**《大规模语言模型》**！系统性强，内容适合初学者，如果你想知道如何构建一个大模型...
-
基于云原生向量数据库 PieCloudVector 的 RAG 实践
近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而 AIGC 依然面临一系列挑战，检...
-
使用 Llama-Agents、Qdrant 和 Kafka 进行高级实时 RAG
简介 在当今数据驱动的世界中，实时处理和检索信息的能力至关重要。本文深入探讨了使用Llama-Agents、Qdrant 和 Kafka 的高级实时检索增强生成 (RAG 。通过集成这些强大的工具，我们创建了一个可以有效管理数据提取、处理和检索的代理系...
-
手把手系列 ｜ 使用Milvus、Llama 3、Ollama、LangChain本地设置RAG应用
随着 Llama、Mistral、Gemma 等开源大语言模型（LLM）的出现，我们越来越能感受到 LLM 的力量，而本地运行基于 LLM 的 RAG 应用的需求越来越强烈。在将应用推至生产环境前，我们往往都需要先本地运行和测试。 因此，本...
-
使用Llama 私有化模型检索文档回答问题
部署 Llama 模型 Llama 属于文字生成模型，可以用于聊天。使用 Ollama 部署 Llama 模型，先安装 Ollama sudo curl -L https://ollama.com/download/ollama-linux-amd64...
-
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
在LangChain中使用Llama.cpp：从安装到实践
在LangChain中使用Llama.cpp：从安装到实践 引言 Llama.cpp是一个高效的C++库，用于在CPU上运行大型语言模型（LLMs）。本文将介绍如何在LangChain中集成和使用Llama.cpp，包括安装、设置以及使用LLM和嵌...
-
鹅厂也下场，文档解析的痛点是什么？
最近，文档解析赛道颇为火热，产品更新迭代频繁，与各类大模型上下游一样发展势头很劲。6月下旬，鹅厂也在多个产品上线了文档解析功能。 文档智能交互是企业、学术、个人工作中必不可少的一环，作为大模型应用的典型场景之一，它对准确、高效的文档解析工具有着长期需求。...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
使用FastChat快速部署LLM服务
原文：https://zhuanlan.zhihu.com/p/705915093 FastChat 是一个用于训练、服务和评估基于LLM的聊天机器人的开放平台，它的核心功能包括： 最先进模型（例如 Vicuna、MT-Bench）的训练和评估代码。...
-
CopilotKit：开源 Copilot 框架，部署应用内 AI 代理，使用 Langchain 自动执行任何任务！
原文链接：（更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号！） CopilotKit：开源 Copilot 框架，部署应用内 AI 代理，使用 Langchain 自动执行任何任务！ ?如何仅用一行代码将强大的 AI...
-
Llama-2-Open-Source-LLM-CPU-Inference 使用教程
Llama-2-Open-Source-LLM-CPU-Inference 使用教程 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LLMs on...
-
Xinference安装及部署大模型
1. Xinference 介绍 Xorbits Inference (Xinference 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理...
-
stable diffusion+LangChain+LLM自动生成图片
最近都在研究和学习stable diffusion和langchain的相关知识，并且看到stable diffusion也是有类似于ChatGLM的api调用方式，那在想有没有可能将stable diffusion也集成到langchain中来呢？看到网...
-
如何在本地运行Llama 3系列：完整指南
今天咱们来聊聊 AI 界的重要事情——那些像 Llama3 系列这样的超大型语言模型（LLMs），现在居然可以在咱们自己的地盘上运行啦！想象一下，这就像是把一个超级智能的助手请进了家门，而且还是私密的，不用担心信息泄露的问题。 本文，虽然是基于之前 Ll...
-
使用langchain4j调用大模型写个聊天助手
LangChain4j是一款基于Java的高效、灵活的AI大模型应用框架，专为简化Java应用程序与LLMs（大语言模型）的集成而设计。它提供统一API和模块化设计，支持多种LLM提供商和嵌入模型，以及丰富的工具箱，如AI服务和RAG（检索增强生成）。La...
-
【Reflextion论文总结】
Reflextion论文总结 文章目录 Reflextion论文总结 1、简介 2、创新点 3、主要内容 整体框架 记忆组件 流程 4、自我反思适用情形 5、实验结果 6、Langchain实现 AnswerQuestion I...
-
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
我将向你展示如何使用 LLama 3.1（一个本地运行的模型）来执行GraphRAG操作，总共就50号代码。。。 首先，什么是GraphRAG？GraphRAG是一种通过考虑实体和文档之间的关系来执行检索增强生成的方式，关键概念是节点和关系。 ▲...
-
深入剖析大模型安全问题：Langchain框架的隐藏风险
随着大模型热度持续，基于大模型的各类应用层出不穷。Langchain 作为一个以 LLM 模型为核心的开发框架，可以帮助我们灵活地创建各类应用，同时也为大模型的应用引入新的安全隐患。从今年 4 月 Langchain 被爆出在野 0day 漏洞开始，各类安...
-
LangChain +Streamlit+ Llama ：将对话式人工智能引入您的本地设备成为可能（上篇）
?️ LangChain +Streamlit?+ Llama ?：将对话式人工智能引入您的本地设备? 将开源LLMs和LangChain集成以进行免费生成式问答（不需要API密钥） 在过去的几个月中，大型语言模型(LLMs 得到了广...
-
一文彻底搞定 RAG、知识库、 Llama-3！！
▼最近直播超级多，预约保你有收获 —1— 使用 Llama-3 搞定 RAG 检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将企业外部知识整合到生成过程中，增强了大语言...
-
本地部署私人知识库的大模型！Llama 3 + RAG！
在今天的的教程中，我们将打造更加个性化的大模型，可以定制搭载私人知识库的本地大模型！ 我们探讨Meta AI 的尖端 Llama 3 语言模型构建强大的检索增强生成 （RAG） 来实现。通过利用 Llama 3 和 RAG 技术的功能，我们将创建一个应用...
-
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
简介 Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3....
-
LLaMA 3.1：开源大模型的新里程碑
7月23日，Meta公布了它的人工智能模型Llama的最新版本——Llama 3.1。这次更新推出了三种不同的版本，其中包括了Meta迄今为止最高级的人工智能模型。重要的是，Llama 3.1依旧是开源的，这意味着谁都可以免费使用这款模型。这次发布展示了M...
-
大数据最新大模型学习路线与建议_大模型学习路径
1 既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！ 由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后...
-
大模型应用开发之业务架构和技术架构（从AI Embedded 到 Copilot,再到Agent）_embedding、copilot、agents
前言 截止到目前，我们已经从大模型的定义概念，应用层涉及的一些概念做了些了解。在大模型的应用开发中，RAG、Agent等概念我们之前也做了些简述，没有看过的可以粗略回顾一下：[大模型06-大模型应用开发之准备篇。 本文我们重点讲的就是伴随着大模型的广...
-
本地私有化部署开源大模型完整教程：LangChain + Streamlit+ Llama 【LLM大模型】
在过去的几个月里，大型语言模型(llm 获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使...
-
Streaming local LLM with FastAPI, Llama.cpp and Langchain
题意： 使用FastAPI、Llama.cpp和Langchain流式传输本地大型语言模型 问题背景： I have setup FastAPI with Llama.cpp and Langchain. Now I want to enable...
-
自定义 LLM：LangChain与文心一言擦出火花
自定义 LLM 自定义 LLM 需要实现以下必要的函数： _call ：它需要接受一个字符串、可选的停用词，并返回一个字符串。 它还可以实现第二个可选的函数： _identifying_params ：用于帮助打印 LLM 信息。该函数应该返回...
-
半小时教你手搓AI视频通话，还有懒人版代码已开源
GPT-4o的“AI视频通话”一鸽再鸽，但网友却是急不可耐想要体验。 于是，一位名叫Santiago（我们叫他三哥）的博主，用160行Python代码尝试了复刻。 虽然技术路线和《Her》有所差别，但从直观效果来看，也算得上是给网友们带来了新的玩具。 而...
-
【AIGC】LangChain入门指南—第二章 LangChain入门指南
第二章 LangChain入门指南 文章目录 第二章 LangChain入门指南 前言 一、主要内容 1、初识LangChain 1.1 为什么需要LangChain 1.2 LLM应用开发的最后1公里 1.3 LangChain的...
-
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰...
-
AIGC安全研究简述（附资料下载）
2023 AIGC技术实践及展望资料合集（29份）.zip 2023 AIGC大型语言模型(LLM 实例代码合集.zip 2023大模型与AIGC峰会（公开）PPT汇总（25份）.zip AIGC的安全研究是一个复杂且重要的领域，涉及多个关键方面...
-
构建您的私人语音助手：在本地运行的Whisper + Ollama + Bark之旅
构建您的私人语音助手：在本地运行的Whisper + Ollama + Bark之旅 在深入了解如何构建并本地运行自己的大型语言模型（RAG）后，今天我们将更进一步，不仅实现高级对话功能，还赋予其听和说的能力。想象一下拥有如电影《钢铁侠》中Jarvis或...
-
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集 《大模型面试...
-
使用 Llama 3 开源和 Elastic 构建 RAG
作者：Rishikesh Radhakrishnan 使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 G...
-
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调 、安装、案例实战应用之详细攻略 导读 ：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步...