-
AIGC基础：大型语言模型 (LLM) 为什么使用向量数据库，嵌入(Embeddings)又是什么？
嵌入： 它是指什么？嵌入是将数据（例如文本、图像或代码）转换为高维向量的数值表示。这些向量捕捉了数据点之间的语义含义和关系。可以将其理解为将复杂数据翻译成 LLM 可以理解的语言。 为什么有用？原始数据之间的相似性反映在高维空间中对应向量之间的距离上。...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...
-
大模型幻觉的起因、评估及落地场景下基于知识图谱的缓解策略探索
针对大模型落地应用的问题，当前行业内普遍的做法是利用大模型进行问答，但在实际应用中，这种方法往往效果不佳，很多问题的答案并不具有实际参考价值。作为算法人员，我们需要深入了解问题的来源，对于大模型产生的幻觉问题，我们需要明确其定义，是主观的还是客观的，并探...
-
使用LlamaIndex和ChatGPT的无代码检索增强生成（RAG）
检索增强生成(RAG 是使用大型语言模型(LLM 的关键工具。RAG使LLM能够将外部文档合并到它们的响应中，从而更紧密地与用户需求保持一致。这个功能在传统上使用LLM犹豫不决的领域尤其有益，尤其是在事实很重要的时候。 自从ChatGPT和类似的LLM推...
-
揭开向量索引概念的神秘面纱
自从ChatGPT公开发布以来，人们几乎没有一天不讨论LLM（大型语言模型）、RAG（检索增强生成：Retrieval Augmented Generation）和向量数据库的新内容。技术世界充斥着LLM的可能性，LLM被视为将改变我们生活的最新技术：...
-
AIGC｜LangChain新手入门指南，5分钟速读版！
如果你用大语言模型来构建AI应用，那你一定不可能绕过LangChain,LangChain是现在最热门的AI应用框架之一，去年年底才刚刚发布，它在github上已经有了4.6万颗星的点赞了，在github社区上，每天都有众多大佬，用它创造一些很新很酷的应用...
-
使用 Amazon SageMaker 和 Amazon CodeWhisperer，解锁数据见解
关键字: [Amazon Web Services re:Invent 2023, Amazon Kendra, Generative Ai, Amazon Sagemaker, Amazon Kendra, Amazon Bedrock, Vector...
-
stable diffusion实践操作-SD原理
系列文章目录 本文专门开一节写SD原理相关的内容，在看之前，可以同步关注：stable diffusion实践操作 文章目录 系列文章目录 前言 一、原理说明 1.1、出图原理 1.1.1 AI画画不是和人一样，从0开始，而是一...
-
大模型系列——解读RAG
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？R...
-
AI「导师」进哈佛！7x24小时辅导CS课程，RAG或成AI教育最后一块拼图
去年，哈佛大学做了件大事。 他们在自己的CS50课程中引入了一整套AI工具，堪称学生个人的个性化「导师」。 一开始，这套工具服务的对象是70来个上暑校的学生。后来逐渐开放，数千名线上学生也得以拥有属于自己的学习导师。 到了秋季，AI工具又面向了几百位本校...
-
生成式人工智能应用中的矢量数据库
生成式人工智能凭借其制作文本、图像和音频等新内容的卓越能力，处于技术创新的前沿。 这个变革领域的核心是一个经常被忽视的部分：矢量数据库。这些数据库能够熟练地处理复杂的非结构化数据，从而激发人工智能的创造力，证明自己在这一领域的价值无可估量。 生成式人...
-
2023-12-30 AIGC-LangChain指南-打造LLM的垂域AI框架
摘要: 2023-12-30 AIGC-LangChain指南-打造LLM的垂域AI框架 LangChain指南-打造LLM的垂域AI框架 CHATGPT以来，Langchain 可能是目前在 AI 领域中最热门的事物之一，仅次于向量数据库。...
-
大模型技术实践（三）｜用LangChain和Llama 2打造心灵疗愈机器人
上期文章我们实现了Llama 2-chat-7B模型的云端部署和推理，本期文章我们将用“LangChain+Llama 2”的架构打造一个定制化的心灵疗愈机器人。有相关知识背景的读者可以直接阅读「实战」部分。 01 背景...
-
极新AIGC行业峰会 | 圆桌对话：探索中国AGI迭代之路
“AGI正处在一个巨大的研发范式革命的起点。” 整理 | 周梦婕 编辑 | 小白 出品｜极新 2023年11月28日，极新AIGC行业峰会在北京东升国际科学院拉开帷幕，峰会上午的圆桌环节由凡卓资本合伙人王梦菲主持，深势科技战略副总裁何雯、Zil...
-
2024年1月17日Arxiv最热论文推荐：清华提出多模态知识检索新框架、MIT新方法大幅提升LLMs的连贯性、浙大新模型助力视频任务新突破、Meta 革新搜索技术、Google革新AI写作
本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。 论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台（saibomaliang.com）上的智能体 「AI论文解读达人」 提供。 如需查看其他热门论文，欢迎移步 ...
-
RAG高阶技巧-如何实现窗口上下文检索
在本文中，我们将介绍一种提高RAG（Retrieval-Augmented Generation）模型检索效果的高阶技巧，即窗口上下文检索。我们将首先回顾一下基础RAG的检索流程和存在的问题，然后介绍窗口上下文检索的原理和实现方法，最后通过一个实例展...
-
AI应用自动化构建平台VectorShift 通过无代码界面构建自动化工作流
YC昨天投的那家公司，VectorShift，是一家AI应用自动化构建平台。他们利用人工智能来搜索知识库、生成文档并部署聊天机器人和助手，以帮助任何组织构建企业级AI应用程序。 这家公司通过拖放支持组件来完成各种任务，比如连接不同的节点，如LLM、数据加载...
-
RAG实战 7 - 使用llama_index实现多模态RAG
LLM之RAG实战（七）| 使用llama_index实现多模态RAG 文章目录 LLM之RAG实战（七）| 使用llama_index实现多模态RAG 一、多模态RAG 二、多模态LLM 三、多模态嵌入 四、多模态索引与检索 五、多...
-
AIGC带来的产业投资机会：全球视角下的产业洞察
AIGC （AI生成内容），是指利用人工智能技术生成各种形式的内容，如文本、图像、音频、视频，典型应用如ChatGPT、Midjourney等。AIGC技术在近年来得到了飞速的发展，为各个领域带来了巨大的变革和价值。与此同时，AIGC技术也催生了全球范围内...
-
多用户数据检索：LangChain技术指南与案例分析
作者 | 崔皓 审校 | 重楼 摘要 文章探讨了如何确保不同用户数据的隔离，并提供灵活的配置选项以适应各种检索需求。 文章首先介绍了多用户数据检索的背景和挑战，包括数据权限管理、检索系统灵活性和用户体验问题。接着进行了技术分析，特别强调了使用Pinec...
-
2023-12-30 AIGC-LangChain介绍
摘要: 2023-12-30 AIGC-LangChain介绍 LangChain介绍 1. https://youtu.be/Ix9WIZpArm0?t=353 2. https://www.freecodecamp.org/news/la...
-
向量数据库：AIGC时代的必备基础工具
今天分享的AIGC系列深度研究报告：《向量数据库：AIGC时代的必备基础工具》。 （报告出品方：广发证券） 报告共计：47页 点击添加图片描述（最多60个字）编辑 一、向量数据库为 AI 大模型全生命周期管理提质增效 随着AI大模型的...
-
基于AI的事件智能分析系统建设实践
一、背景 当前，随着虚拟化、云计算等新技术的广泛应用，企业数据中心内部IT基础设施规模成倍增长，计算机硬件和软件的规模不断的扩大，相应的计算机故障也频繁发生，一线运维人员迫切的需要更加专业、更加强大的运维工具。 在数据中心的日常运维工作中，一般是通过...
-
AIGC在趣丸科技广告素材场景下赋能业务的探索实践
AIGC 兴起，在各行各业得到应用。广告作为用户增长的有效手段，经久不衰，日益增长的广告创意素材素材需求与设计师人工制作素材产能不足的矛盾问题凸显，AIGC 技术的应用能够在多模态素材上发挥作用，为广告投放业务赋能。 趣丸科技资深研发工程师 阮陈贵 ...
-
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embe
LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用 的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs+多款embedding模型m3e等+多种TextSplitter分词...
-
构建优秀LLM应用的四大要点，你找到哪点？
这些建议可提高LLM应用的准确率，还包含如何选择合适LLM的注意事项。 译自4 Key Tips for Building Better LLM-Powered Apps，作者 Adrien Treuille 是 Snowflake 的产品管理总监和 S...
-
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
一 准备工作 下面是构建这个应用程序时将使用的软件工具: 1.Llama-cpp-python 下载llama-cpp, llama-cpp-python [NLP] Llama2模型运行在Mac机器-CSDN博客 2、LangChain L...
-
ChatGPT-4、Bard、Claude-2 和 Copilot空间任务的正确性比较
大语言模型 (LLM 在内的生成人工智能最近因其多功能的任务解决能力（包括编码、空间计算、样本数据生成、时间序列预测、地名识别或图像分类）而引起了科学界的极大兴趣。人工智能聊天机器人是一种利用大型语言模型（LLM）来生成自然语言对话的技术，它们在各个领...
-
大模型应用探索——企业知识管家
一、传统知识管理的背景与挑战 1、企业知识管理的必要性 知识管理是每个企业都面临的一个非常重要的环节，借助知识管家可以全面提升企业的效率。 一方面，随着互联网应用的发展，知识爆炸，如何实现企业知识的共享称成为企业面临的一个问题。企业通过知识共享不仅...
-
LLM之RAG实战（七）| 使用llama_index实现多模态RAG
一、多模态RAG OpenAI开发日上最令人兴奋的发布之一是GPT-4V API（https://platform.openai.com/docs/guides/vision）的发布。GPT-4V是一个多模态模型，可以接收文本/图像，并可以...
-
再创佳绩！拓数派荣获 2023年度技术卓越奖
近日，由知名 IT 信息科技门户网站 IT168 正式公布了 “2023 年度技术卓越奖”评选结果，拓数派凭借自主研发的大模型数据计算系统「πDataCS」斩获2023年度技术卓越奖奖项。 拓数派本次获得年度技术卓越奖是市场、媒体、与社区的多重认可成果，...
-
「X」Embedding in NLP｜神经网络和语言模型 Embedding 向量入门
在「X」Embedding in NLP 进阶系列中，我们介绍了自然语言处理的基础知识——自然语言中的 Token、N-gram 和词袋语言模型。今天，我们将继续和大家一起“修炼”，深入探讨神经网络语言模型，特别是循环神经网络，并简要了解如何生成 Embe...
-
腾讯云推出高性能应用服务HAI，让每个开发者都能开发自己的AI应用
降低AIGC应用开发门槛，才能更快发现下一个AIGC现象级应用。 12月18日，腾讯云宣布推出高性能应用服务(Hyper Application Inventor，HAI ，用户无需复杂配置，最快10分钟即可创建自己的AI应用。 HAI能够提供即插即用的...
-
只需10分钟，开发者即可创建AIGC应用，腾讯云推出高性能应用服务HAI
降低AIGC应用开发门槛，才能更快发现下一个AIGC现象级应用。 12月18日，腾讯云宣布推出高性能应用服务(Hyper Application Inventor，HAI ，用户无需复杂配置，最快10分钟即可创建自己的AI应用。 HAI能够提供即插即用...
-
AIGC｜AGI究竟是什么？为什么大家都在争先入场？
一、AI大语言模型进入爆发阶段 2022年12月ChatGPT突然爆火，原因是其表现出来的智能化已经远远突破了我们的常规认知。虽然其呈现在使用者面前仅仅只是一个简单的对话问答形式，但是它的内容化水平非常强大，甚至在某些方面已经超过人类了，这是人工智能...
-
一个智能助手搞定软件开发全流程，从设计到运维统统交给AI
从设计、编码到测试、部署，甚至是运维……软件开发的整个流程，可以通通交给AI了！ 一款覆盖软件开发全生命周期的端到端AI智能助手，让分散的软件开发操作变得集成化、智能化。 这款AI助手专门针对开发领域设计，避免了通用大模型不可靠、信息不及时、领域任务不完...
-
低代码！小白用10分钟也能利用flowise构建AIGC| 业务问答 | 文本识别 | 网络爬虫
一、与知识对话 二、采集网页问答 三、部署安装flowise flowise工程地址：https://github.com/FlowiseAI/Flowise flowise 官方文档：https://docs.flowiseai.co...
-
如何在Python中使用ChatGPT API处理实时数据
译者 | 李睿 审校 | 重楼 OpenAI公司推出的GPT如今已经成为全球最重要的人工智能工具，并精通基于其训练数据处理查询。但是，它不能回答未知话题的问题，例如： 2021年9月之后的近期事件 非公开文件 来自过去谈话的信息 当用户处...
-
2023人工智能工程五大新方向
除了LLM的大量增加，AI开发工具也有了扩展。我们来看一下今年AI开发中的五个关键趋势。 译自Top 5 AI Engineering Trends of 2023，作者 Richard MacManus 是The New Stack的高级编辑，专注于W...
-
基于 AIGC，RocketMQ 学习社区探索开源软件学习新范式
AIGC 持续火爆全球，越来越多的场景开始接入并体现非凡的价值。其中应用广泛的场景之一就是智能知识问答，它改变了人们学习的方式，从阅读式到问答式，让知识的获取更加精准有效。开源软件拥有着广泛的求知群体，AIGC+ 社区的结合是学习型社区未来演进...
-
GitHub Copilot Chat将于12月全面推出；DeepLearning.AI免费新课
? AI新闻 ? GitHub Copilot Chat将于12月全面推出，提升开发者的生产力 摘要：GitHub宣布将于12月全面推出GitHub Copilot Chat，这是GitHub Copilot的一个新功能，旨在帮助开发者编写代码。它...
-
RAG+GPT-4 Turbo让模型性能飙升！更长上下文不是终局，「大海捞针」实验成本仅4%
RAG+GPT-4，4%的成本，便可拥有卓越的性能。 这是最新的「大海捞针」实验得出的结论。 在产品中使用LLM的下一阶段，重点是让它们生成的响应/回复更加「超前高速化」(hyper-specific 。 也就是LLM需要按照不同的使用情况，针对数据集...
-
AIGC：【LLM（四）】——LangChain+ChatGLM:本地知识库问答方案
文章目录 一.文件加载与分割 二.文本向量化与存储 1.文本向量化(embedding 2.存储到向量数据库 三.问句向量化 四.相似文档检索 五.prompt构建 六.答案生成 LangChain+ChatGLM项目(http...
-
Smart Copilot：大模型在技术服务和智能客服领域提效的最佳实践
欢迎来到魔法宝库，传递AIGC的前沿知识，做有格调的分享❗ 喜欢的话记得点个关注吧！ 随着云计算技术的快速发展，越来越多的企业和个人选择将业务迁移到云端。有很多云厂商为客户提供了灵活、可扩展的计算资源和服务，使得客户能够更加专注于核心业务。 然而，...
-
亚马逊AWS欲在GenAI领域和微软展开竞争
在周一接受VentureBeat采访时，亚马逊AWS负责数据和AI的副总裁斯瓦米·西瓦苏布拉曼尼亚负责监管所有AWS数据库、分析、ML和GenAI服务，他概述了周三上午的主旨演讲和周二上午AWS首席执行官亚当·塞利普斯基的主旨演讲。 他说，围绕GenA...
-
OpenAI，请重新思考 Retrieval Assistant 的方案
作者：栾小凡 Zilliz 合伙人、技术总监 近期， OpenAI 在首届开发者大会上公布了系列最新进展，引发各大媒体和从业人员的广泛关注。 其中最引人注目的是全新推出的 GPT-4 Turbo ——一个更经济、更高效的服务版本，可以显著提升用户体验。...
-
一切为了应用！九章云极DataCanvas大模型系列成果重磅发布！
11月21日，「筑基赋能 智向未来」九章云极DataCanvas大模型系列成果发布会（以下简称“发布会”）在北京重磅召开，本次成果发布距离今年6月30日DataCanvas Alaya九章元识大模型公布仅4个多月，是九章云极DataCanvas公司大模...
-
九章云极DataCanvas公司与生态伙伴强强联手，构建人工智能强生态！
11月21日，在「筑基赋能 智向未来」九章云极DataCanvas大模型系列成果发布会上，九章云极DataCanvas公司与人工智能产业链上下游合作伙伴广东民营投资股份有限公司（以下简称“粤民投”）、西藏赛富合银投资有限公司（以下简称“西藏赛富”）、广...
-
用检索增强生成让大模型更强大，这里有个手把手的Python实现
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排（orchestration）的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。 检索增强生成是什么？ 检索增强生成（RAG）这一...
-
腾讯云“AI超级底座”专场将亮相WOT大会，技术创新引领AI基础设施新篇章
近两年来，国内热门的技术话题中，“百模大战”赫赫有名。自2020年起，中国进入了大模型加速发展期。据科技部新一代人工智能发展研究中心发布的报告显示，目前中国已发布10亿参数规模以上的大模型达79个。众多IT技术厂商投身于大模型的研究与训练，并将其应用于各...