-
大模型外挂知识库rag综述
一、LLMs 不足点 在 LLM 已经具备了较强能力的基础上，仍然存在以下问题： 幻觉问题：LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地产生“一本正经的胡说八道”的情况； 时效性问题：LLM 的规模越大...
-
LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
前言 日常没空，留着以后写 llama-index简介 官网：https://docs.llamaindex.ai/en/stable/ 简介也没空，以后再写 注：先说明，随着官方的变动，代码也可能变动，大家运行不起来，可以进官网查查资料...
-
llama_index，一个超强的 Python 库！
更多资料获取 ? 个人网站：ipengtao.com 大家好，今天为大家分享一个超强的 Python 库 - llama_index。 Github地址：https://github.com/run-llama/llama_index 在信息...
-
基于Llama Index构建RAG应用(Datawhale AI 夏令营)
前言 Hello，大家好，我是GISer Liu?，一名热爱AI技术的GIS开发者，本文参与活动是2024 DataWhale AI夏令营；? 在本文中作者将通过： Gradio、Streamlit和LlamaIndex介绍 Ll...
-
llama_index 从 0 到 1：别再用传统方法处理数据了！LlamaIndex如何革新你的信息检索？
llama_index 从 0 到 1 llama_index 基础设施：数据连接、索引构建、查询接口 高级特性：六大核心功能来增强语言模型处理和响应外部数据的能力 数据连接器 Documents & Nodes (文档与节点 ...
-
Llama_index利用本地大模型工具ollama（CPU）
基于ollama的本地大模型的LlamaIndex示例代码 from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings from llama_index....
-
使用 Llama 3 开源和 Elastic 构建 RAG
作者：Rishikesh Radhakrishnan 使用开源的 Llama 3 和 Elastic 构建 RAG Llama 3 是 Meta 最近推出的开源大型语言模型。这是 Llama 2 的后继者，根据已发布的指标，这是一个重大改进。与 G...
-
使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序
文章目录 使用 LlamaIndex 和 Llama 2-Chat 构建知识驱动的对话应用程序 Llama 2-70B-聊天 LlamaIndex 解决方案概述 先决条件 使用 SageMaker JumpStart 部署 GPT-J 嵌...
-
Py之llama-parse：llama-parse(高效解析和表示文件)的简介、安装和使用方法、案例应用之详细攻略
Py之llama-parse：llama-parse(高效解析和表示文件 的简介、安装和使用方法、案例应用之详细攻略 目录 llama-parse的简介 llama-parse的安装和使用方法 1、安装 2、使用方法 第一步，获取API...
-
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器)的简介、安装、使用方法之详细攻略
LLM之RAG之LlaMAIndex：llama-index(一块轻快构建索引来查询本地文档的数据框架神器 的简介、安装、使用方法之详细攻略 目录 LlamaIndex的简介 1、LlamaIndex有什么帮助? 2、核心原理 llama-i...
-
Mistral 开源代码模型夺得王座！Codestral疯狂训练超80种语言，国内通义开发者请求出战！
出品 | 51CTO技术栈（微信号：blog51cto） Mistral 发布了首个代码模型 Codestral-22B！ 该模型的疯狂之处不仅在于训练了80多种编程语言，包括许多代码模型忽略的Swift等。 还在于他非同一般的速度。要求用Go语言编...
-
LlamaIndex：如何为大模型加载一个AI知识库？
大模型被喻为人类正在经历的一场科技革命，而横亘在大模型和实际业务场景之间的，是大模型在面对企业复杂业务场景时解决问题的能力，要具备这样的能力，数据是关键。 这其中需要的数据，不是通用大模型训练时用到的那些常见数据，而是与企业业务相关的数据，这些数据是大...
-
通过检索增强生成(RAG) 增强LLM的实战演练
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 拥有正确的数据来支持用例对于在任何业务中成功采用大型语言模型(LLM 都是至关重要的。虽然大多数现成的LLM在完成一般任务上表现出色，...
-
一文读懂常见的几种 LangChain 替代品
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 开发框架 。 在 LLM (大规模语言模型 应用开发领域，开源框架扮演着至关重要的角色，为广大开发者提供了强大的工具支持。作为这一领域的领军者，Lan...
-
开发者的LlamaIndex入门指南
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ LlamaIndex是一个专注于检索增强生成(RAG 的工具，可以协助您丰富大模型的数据提示。本文将用实例向您展示和介绍。 众所周知，...
-
得物 AIGC 算法岗(日常实习生) 面经分享
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 最大的感受就是，今年的算法面试...
-
微软新工具LLMLingua-2：可将 AI 提示压缩高达80%，节省时间和成本
微软研究发布了名为 LLMLingua-2的模型，用于任务不可知的提示压缩。该模型通过智能地去除长提示中的不必要词语或标记，同时保留关键信息，使得提示长度可减少至原长度的20%，从而降低成本和延迟。研究团队写道:“自然语言存在冗余，信息量不尽相同。” LL...
-
llama_index 官方文档阅读笔记 (持续更新版)
llama 0.10.17?版本 阅读 链接: LlamaIndex ? v0.10.17 LlamaIndex 是一个基于 LLM 的应用程序的数据框架，它受益于上下文增强。这种LLM系统被称为RAG系统，代表“检索-增强生成”。LlamaIndex...
-
揭秘「 B 站最火的 RAG 应用」是如何炼成的
近日，bilibili 知名科技 UP 主“Ele 实验室”发布了一个视频，标题为“当我开发出史料检索 RAG 应用，正史怪又该如何应对？” 。 视频连续三天被平台打上“热门”标签，并迅速登上科技板块全区排行榜前列。截至目前，视频的观看量近 70 万，评...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...
-
使用LlamaIndex和ChatGPT的无代码检索增强生成（RAG）
检索增强生成(RAG 是使用大型语言模型(LLM 的关键工具。RAG使LLM能够将外部文档合并到它们的响应中，从而更紧密地与用户需求保持一致。这个功能在传统上使用LLM犹豫不决的领域尤其有益，尤其是在事实很重要的时候。 自从ChatGPT和类似的LLM推...
-
用通俗易懂的方式讲解：使用Llama-2、PgVector和LlamaIndex，构建大模型 RAG 全流程
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。 本文，我们将深入研究使用trans...
-
月之暗面 Moonshot AI 开放平台启动公开测试
月之暗面 Moonshot AI 开放平台正式启动了公开测试，这一重要进展标志着所有开发者都能够开始利用这一平台。 此前，该平台已经历了一段时间的内测阶段。现在，开发者们只需访问 platform.moonshot.cn，便能创建自己的 API Key，进...
-
大模型系列——解读RAG
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？R...
-
编程新范式，当Spring Boot遇上OpenAI
2023年，AI技术已经成为一个热点话题，影响了许多领域，特别是编程领域。人们越来越意识到AI技术的重要性，包括Spring社区在内。 随着GenAI（I（General Artificial Intelligence））技术的不断发展，简化具有AI功能...
-
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。本文，我们将深入研究使用...
-
使用langchain及llama_index实现基于文档（长文本）的相似查询与询问
文章目录 1. 引言 2. 简介 3. 带关键字的查询方案 4. 不带关键字的总结询问 5. 实现代码 1. 引言 在调用ChatGPT接口时，我们常常受到4096个字符（token）的限制。这种限制对于处理长文本或者需要对文档进...
-
一文读懂 LLM 可观测性
Hello folks，我是 Luga，今天我们继续来聊一下人工智能(AI 生态领域相关的技术 - LLM (大型语言模型 可观测性 ，本文将继续聚焦在针对 LLM 的可观测性进行解析，使得大家能够了解 LLM 的可观测性的必要性以及其核心的生态体系知...
-
专为数据库打造：DB-GPT用私有化LLM技术定义数据库下一代交互方式
2023 年 6 月，蚂蚁集团发起了数据库领域的大模型框架 DB-GPT。DB-GPT 通过融合先进的大模型和数据库技术，能够系统化打造企业级智能知识库、自动生成商业智能（BI）报告分析系统（GBI），以及处理日常数据和报表生成等多元化应用场景。DB-G...
-
构建优秀LLM应用的四大要点，你找到哪点？
这些建议可提高LLM应用的准确率，还包含如何选择合适LLM的注意事项。 译自4 Key Tips for Building Better LLM-Powered Apps，作者 Adrien Treuille 是 Snowflake 的产品管理总监和 S...
-
专补大模型短板的RAG有哪些新进展？这篇综述讲明白了
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。 然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏...
-
在选择GenAI供应商时如何权衡风险和回报
11月中旬，OpenAI董事会解雇了公司CEO奥特曼，他让ChatGPT声名鹊起，并开启了企业AI部署的新纪元。在接下来的三天里，几乎所有的公司员工都表示要离开公司，OpenAI的命运看起来非常不确定。 整个业务都建立在OpenAI及其API之上。 根...
-
每个开发者都应该知道的6个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 一、LangChain 图片 LangCh...
-
LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理
Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜（https://huggingface.co/spaces/HuggingFaceH4/open_llm_lea...
-
每个开发人员都应该知道的六个生成式AI框架和工具
译者 | 晶颜 审校 | 重楼 在快速发展的技术领域，生成式人工智能是一股革命性的力量，它改变了开发人员处理复杂问题和创新的方式。本文深入探讨了生成式AI的世界，揭示了对每个开发人员都必不可少的框架和工具。 LangChain LangChain由H...
-
构建更好的基于LLM的应用程序的四大秘诀
作者 | Adrien Treuille 译者 | 布加迪 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 自从OpenAI发布首个ChatGPT模型以来，人们对生成式AI的兴趣激增。基于大语言模型（LLM）的应用程序现处于企业...
-
2023人工智能工程五大新方向
除了LLM的大量增加，AI开发工具也有了扩展。我们来看一下今年AI开发中的五个关键趋势。 译自Top 5 AI Engineering Trends of 2023，作者 Richard MacManus 是The New Stack的高级编辑，专注于W...
-
一文读懂常用的 “生成式 AI 框架”
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - Gen AI ，即“生成式 AI” 技术。 随着 AI 技术的不断发展，Gen AI 的力量超越了单纯的技术奇迹，更是一种具有变革性的动态力量，深刻地塑造了...
-
RAG+GPT-4 Turbo让模型性能飙升！更长上下文不是终局，「大海捞针」实验成本仅4%
RAG+GPT-4，4%的成本，便可拥有卓越的性能。 这是最新的「大海捞针」实验得出的结论。 在产品中使用LLM的下一阶段，重点是让它们生成的响应/回复更加「超前高速化」(hyper-specific 。 也就是LLM需要按照不同的使用情况，针对数据集...
-
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm 的出现刺激了多个领域的创新。但是在思维链(CoT 提示和情境学习(ICL 等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLMLingua与专有的...
-
OpenAI内乱之害远未止
继OpenAI最近的争议后，AI工程师和公司开始减少乃至完全摆脱对其API的依赖。 译自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是...
-
OpenAI，请重新思考 Retrieval Assistant 的方案
作者：栾小凡 Zilliz 合伙人、技术总监 近期， OpenAI 在首届开发者大会上公布了系列最新进展，引发各大媒体和从业人员的广泛关注。 其中最引人注目的是全新推出的 GPT-4 Turbo ——一个更经济、更高效的服务版本，可以显著提升用户体验。...
-
LlamaIndex的使用 | LangChain的研究 | pdfgpt安装使用
LlamaIndex在https://github.com/jerryjliu/llama_index 文档在https://gpt-index.readthedocs.io/en/latest/guides/primer/usage_pattern...
-
DeepMind推出OPRO技术，可优化ChatGPT提示
在最新的AI研究报道中，Google DeepMind推出了一项名为“优化通过提示（OPRO）”的技术，将大型语言模型(LLM 作为其自身提示的优化器。该方法旨在通过自然语言描述问题，指导LLM生成和改进解决方案，从而提高提示性能。 OPRO的工作方式相对...
-
Hugging Face 的 H4 两人团队正在开发类似 ChatGPT 的人工智能聊天机器人
人工智能初创企业 Hugging Face 近日宣布，其由两人组成的 H4 团队正致力于开发工具和「配方」，以帮助 AI 社区构建类似于 ChatGPT 的人工智能聊天机器人。自 ChatGPT 发布以来，H4 团队的成立便是为了复制其功能，使用开源库和模...