-
一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展
LLM 探秘：想要深入了解人工智能界的“新宠”大型语言模型（LLM）吗？本文将带你走进 LLM 的世界，从入门知识到实际应用，全方位解读这个充满魔力的“大模型”。我们将一起揭开 LLM 的神秘面纱，领略其在各个领域的独特魅力。无论你是初学者还是有一定基础的...
-
【AIGC】训练数据入库（Milvus）
之前的文章有写如何获取数据、如何补充数据，也有说如何对数据进行清洗、如何使用结构化数据进行训练。但好像没有说如何将训练数据“入库”。这里说的入库不是指 MySQL 数据库，而是指向量检索库 Milvus。 众所周知，人工智能多用向量数据进行训练。数据先做...
-
超越传统续写模式：AI 编程距离智能研发终态还有多远？
在软件开发领域，大模型驱动的智能代码生成技术已成为研究热点，引起了广泛关注和探索。在7月27日，由开源中国主办的“AI编程革新研发效能”OSC源创会·杭州站·105期线下沙龙活动，来自百度工程效能部的前端研发经理杨经纬，从一款 AI 编程助手 —— 文心快...
-
初识LLM大模型：入门级工程知识探索与解析
前言 源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。包括但不限于Prompt工程、模型微调fin...
-
NVIDIA把Llama-3的上下文长度扩展16倍，长上下文理解能力超越GPT-4
在 Llama-3.1 模型发布之前，开源模型与闭源模型的性能之间一直存在较大的差距，尤其是在长上下文理解能力上。 大模型的上下文处理能力是指模型能够处理的输入和输出 Tokens 的总数。这个长度有一个限制，超过这个限制的内容会被模型忽略。一般而...
-
开源智能助手平台Dify是什么？
1.背景 对于国内小公司，怎样通过Ai 将内部流程、产品重新做一次，从而提高人效、给客户带来价值，这是老板们在考虑的问题 ？ 当前市面上的你大模型例如：通义千问、文心一言、kimi、智谱清言、盘古 等，底层能力都非常强大（千亿级参数），但各个模型使用有...
-
鹅厂也下场，文档解析的痛点是什么？
最近，文档解析赛道颇为火热，产品更新迭代频繁，与各类大模型上下游一样发展势头很劲。6月下旬，鹅厂也在多个产品上线了文档解析功能。 文档智能交互是企业、学术、个人工作中必不可少的一环，作为大模型应用的典型场景之一，它对准确、高效的文档解析工具有着长期需求。...
-
AIGC-SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models
论文： https://arxiv.org/pdf/2311.16933 代码：https://guoyww.github.io/projects/SparseCtrl MOTIVATION relying solely on text p...
-
全网最全RAG评估指南：全面解析RAG评估指标并提供代码示例
一、RAG痛点介绍 最近我一直在关注和优化RAG（Retrieval-Augmented Generation）相关的内容，总结了一下RAG的痛点和最佳实践，然后重点会介绍如何评估RAG。 二、RAG痛点优化 认识了RAG的痛点，就知道如...
-
Llama 3.1论文中文对照翻译
The Llama 3 Herd of Models 模型群 Llama 3 Llama Team, Al @ Meta 1...
-
检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
编者按：大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows 和检索增强生成(RAG 。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？ 文章...
-
大模型算法必学，万字长文Llama-1到Llama-3详细拆解
导读 Llama系列的大语言模型在多个自然语言处理任务中表现出色，包括文本分类、情感分析和生成式问答，本质是使用 Transformer 架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3，值得读者点赞收藏！ 引言 在AI领域...
-
英伟达最新技术分享：手把手教你用Llama 3.1合成数据改进模型！附代码
【导读】 适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。 Epoch AI上个月刚刚发文[预言数据墙」迫近，结果英伟达转头就甩出了340B开源巨兽Ne...
-
1张Nvidia A100 80G部署Lamma3 70b 4bit的性能测试
这里写自定义目录标题 硬件 部署模型 硬件性能监控工具 GPU监控工具 CPU和系统内存监控工具 部署框架 命令 测试脚本与结果 输出定量token测试 prompt 脚本 Test Result 输入定量token测试 prom...
-
16 使用Llama Index提取术语和定义的指南
使用Llama Index提取术语和定义的指南 Llama Index有许多用例（如语义搜索、总结等），这些用例都有很好的文档记录。然而，这并不意味着我们不能将Llama Index应用于非常特定的用例！ 在本教程中，我们将介绍使用Llama Ind...
-
掌握 Llama 3.1：轻松本地部署与远程使用的全攻略
前言: Llama 3.1 是 Meta（Facebook 的母公司）发布的一系列最先进的开源大语言模型。Llama 3.1 系列包括 8B（80 亿参数）、70B（700 亿参数）和 405B（4050 亿参数）模型。其中，405B 是 Meta 迄...
-
如何在本地运行Llama 3系列：完整指南
今天咱们来聊聊 AI 界的重要事情——那些像 Llama3 系列这样的超大型语言模型（LLMs），现在居然可以在咱们自己的地盘上运行啦！想象一下，这就像是把一个超级智能的助手请进了家门，而且还是私密的，不用担心信息泄露的问题。 本文，虽然是基于之前 Ll...
-
在 RAGFlow 中实践 GraphRAG
RAGFlow 0.9 版本发布，正式引入了对 GraphRAG 的支持。GraphRAG 由微软近期开源【参考文献1】，被称作下一代 RAG，并且在更早时间发表了相关论文【参考文献2】。关于下一代 RAG，在 RAGFlow 体系的定义更加完整，就是如下...
-
知识图谱大模型系列之 17 使用 Llamaindex、Neo4j 和 Llama 3 构建具有知识图谱的高级 RAG 聊天机器人(教程含源码)
简介 通过集成知识图谱来构建高级检索增强生成 (RAG 聊天机器人的分步指南。在检索增强生成 (RAG 解决方案中集成知识图谱可通过提供结构化和关系上下文显著提高响应的相关性和深度。知识图谱在 RAG 解决方案中非常有用，例如在医疗保健领域。例如，...
-
使用GraphRAG+LangChain+Ollama：LLaMa 3.1跑通知识图谱与向量数据库集成（Neo4j）
我将向你展示如何使用 LLama 3.1（一个本地运行的模型）来执行GraphRAG操作，总共就50号代码。。。 首先，什么是GraphRAG？GraphRAG是一种通过考虑实体和文档之间的关系来执行检索增强生成的方式，关键概念是节点和关系。 ▲...
-
Ollama+AnythingLLM 搭建本地知识库
一、搭建本地知识库业务背景 数据自主可控 将关键知识和信息存储在本地服务器上，意味着企业或组织能够完全控制数据的访问权限、存储方式以及备份策略。这避免了将数据托管在第三方云服务上可能带来的数据泄露风险，因为云服务...
-
在亚马逊云科技上部署Llama大模型并开发负责任的AI生活智能助手
项目简介： 小李哥将继续每天介绍一个基于亚马逊云科技AWS云计算平台的全球前沿AI技术解决方案，帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWS AI最佳实践，并应用到自己的日常工作里。 本次介绍的是如何在亚马逊云科技上利用SageMaker...
-
ECCV2024｜AIGC(图像生成，视频生成，3D生成等)相关论文汇总（附论文链接/开源代码）【持续更新】
ECCV2024｜AIGC相关论文汇总（如果觉得有帮助，欢迎点赞和收藏） Awesome-ECCV2024-AIGC 1.图像生成(Image Generation/Image Synthesis Accelerating Diffusio...
-
【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南
系列篇章💥 No. 文章 1 【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践 2 【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人 3 【Qwen2部署实战】探索Qw...
-
AIGC-ToonCrafter: Generative Cartoon Interpolation-CVPR2024
论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧，生成逼真生动的动画，动画插值生成 MOTIVATION T...
-
如何使用 Llama 3 构建本地文件生成式搜索引擎（附源码&文档）
系统设计 为了构建一个本地生成式搜索引擎或助手，我们需要几个组建： 包含本地文件内容的索引，具有信息检索引擎，用于检索给定查询/问题的最相关文档。 大语言模型，用于从本地文档中选择内容并生成摘要答案 一个用户界面 这些组件的交互方式如下...
-
华为发布全新OceanStor A800 AI存储：10TB级带宽 专攻AI大模型
快科技8月14日消息，近日，在2024华为数据存储用户精英论坛上，AI-Ready的数据基础设施”分论坛成功举行。 为促进AI大模型健康发展，华为推出了全新的OceanStor A800 AI存储。 华为表示，该存储采用数控分离架构，提供10TB级带宽和亿...
-
LLM大模型：一文彻底搞定 RAG、知识库、 Llama-3
简介： Llama-3 用于 RAG，增强大语言模型的性能，整合外部知识。关键组件包括：1 自定义知识库，存储更新的信息；2 分块处理，拆解文本便于管理；3 嵌入模型，转化多模态数据为数值向量；4 向量数据库，快速检索相似性；5 用户聊天界面，交...
-
AIGC大模型面经汇总，太全了！
字节 暑期实习 多模态算法 (二面凉经 一面 2024/3/28 下午17:00-18:00 1.上来没有自我介绍 2.直接介绍NeurIPS论文，中间穿插着一些提问 3.说一下Transformer的整体结构 4.了解有哪些位置编码方式吗 5.说一...
-
Exponential Moving Average (EMA) in Stable Diffusion
1.Moving Average in Stable Diffusion (SMA&EMA 1.Moving average 2.移动平均值 3.How We Trained Stable Diffusion for Less than $5...
-
一文彻底搞定 RAG、知识库、 Llama-3！！
▼最近直播超级多，预约保你有收获 —1— 使用 Llama-3 搞定 RAG 检索增强生成（Retrieval Augmented Generation，RAG）是一种强大的工具，它通过将企业外部知识整合到生成过程中，增强了大语言...
-
Stable Diffusion最全提示词写法教程
这一次篇章主要了解关于提示词的书写内容。我们需要了解掌握的内容细节比较多。索性是后续都会有插件帮助我们增效。 为了保证大家的学习过程以及文档的编写过程，这里我们都不加任何模型，单纯是用默认自带的即可； 提示词基础 基础书写规则 所有单词都是...
-
本地部署私人知识库的大模型！Llama 3 + RAG！
在今天的的教程中，我们将打造更加个性化的大模型，可以定制搭载私人知识库的本地大模型！ 我们探讨Meta AI 的尖端 Llama 3 语言模型构建强大的检索增强生成 （RAG） 来实现。通过利用 Llama 3 和 RAG 技术的功能，我们将创建一个应用...
-
阿里国际推出首个专业版AI Search，为什么它会是下一个B2B谷歌？
经历过「千模大战」的喧嚣，一年半之后，生成式 AI 的应用层创新终于步入爆发期。 年初的 Sora 激起一阵 AI + 视频生成的浪潮。涟漪未散，OpenAI 新的 SearchGPT 又燃起了 AI + 搜索的战火。 AI + 搜索，这其实是生成式 AI...
-
本地运行 Llama 3.1 模型：综合指南,使用 Llama 3.1 Ollama 和 LM Studio构建应用程序(教程含程序)
简介 Llama 3.1 是 Meta 大型语言模型系列的最新版本，它已席卷 AI 界。凭借其出色的性能和开源特性，许多人都渴望在本地机器上利用其强大功能。本指南将引导您使用 Ollama 和 LM Studio 等流行工具在本地运行 Llama 3....
-
AIGC大模型如何赋能电力智能问答服务？
随着互联网不断发展以及电力客户服务需求的日益提升，单纯依靠人工的电力客服已经无法安全满足业务量的发展，电力智能问答成为重要的创新服务方式。精准、快速地解答用户问题是智能问答的核心价值。 近期AIGC的智能技术的发展，为智能问答提升注入了新的催化剂，推动智...
-
最强大模型 Llama 3.1-405B 架构设计剖析
—1— 最强大模型 Llama 3.1-405B 简介 在历经了两天的提前“泄露风波”后，Llama 3.1 终于正式揭开面纱，由官方对外公布。 新版 Llama 3.1 将其上下文处理能力扩展至 128K，推出了 8B、70B 及 405B 三个不...
-
AI绘画教程：Stable Diffusion中如何控制人像的姿势？
在AI绘画中，有时候我们需要主角（人物或动物）摆出特定的姿势，该怎么做呢？ 第一种方法：以图生图 打开Stable Diffusion界面，点击imag2img 下面出现一个”drop image here or click to upload”...
-
AIGC大模型在人力资源中的应用之一：简化招聘流程
与大多数行业一样，人力资源管理的世界也在不断发展。其中一个演变是聊天 GPT 技术的集成，它已成为招聘和保留的流行工具。当人力资源专业人员必须处理大量申请人或迫切需要大众传播时，聊天机器人会派上用场。 我们将深入研究聊天机器人和GPT（生成式预训练模型）...
-
AIGC产品经理学习路径
基础篇（课时 2 ） AIGC 行业视角 AIGC 的行业发展演进：传统模型/深度学习/大模型 AIGC 的产品设计演进：AI Embedded / AI Copilot / AI Agen AIGC 的行业产业全景图 AIGC 的产...
-
在 Kubernetes 上用 KubeBlocks + Dify 快速构建生产级 AIGC 应用
前言 在数字化时代，人工智能生成内容（AIGC）技术正以前所未有的速度改变着我们的世界。AIGC 不仅为内容创作者提供了强大的工具，还为企业带来了前所未有的商业机会。通过 AIGC，应用能够自动生成文本、图像、音频甚至视频，极大地提高了内容生产的效率和...
-
AI日报：Bing推生成式AI搜索功能 ；Open-Sora Plan v1.2发布；Mistral Large2突然开源；腾讯智影推智能画布功能
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、Bing推生成式AI搜索功能...
-
Training for Stable Diffusion
1.Training for Stable Diffusion 笔记来源： 1.Denoising Diffusion Probabilistic Models 2.最大似然估计(Maximum likelihood estimation 3.Und...
-
基于Llama Index构建RAG应用(Datawhale AI 夏令营)
前言 Hello，大家好，我是GISer Liu😁，一名热爱AI技术的GIS开发者，本文参与活动是2024 DataWhale AI夏令营；😲 在本文中作者将通过： Gradio、Streamlit和LlamaIndex介绍 Ll...
-
2024-06-21 问AI: 在大语言模型中，什么是LLama Index
文心一言 LLama Index是一个针对基于LLM（大型语言模型）的应用程序的数据框架，旨在提供RAG（检索增强生成，Retrieval-Augmented Generation）能力。以下是关于LLama Index的清晰概述： 定义与功能：...
-
自动炼丹基于Llama-factory改写--学习记录
最近在使用llama-factory微调LLM，但是一个个手动修改基本的学习率，学习轮次有太麻烦了。在寻找有没有什么自动调参的办法，在github上看到Llama-factory支持Weights & Biases 记录实验数据自动微调，尝试了一下...
-
GPT-4和Whisper从长视频生成短视频；AI治好了我的拖延症；GraphRAG技术集成到Open WebUI；两个开源LivePortrait实现
✨ 1: AI Youtube Shorts Generator AI Youtube Shorts Generator是一款利用GPT-4和Whisper从长视频生成短视频的Python工具。 AI YouTube Shorts Gene...
-
[机器学习]-如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境
如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境 1. 问题与需求 近段时间想学习一下大语言模型的本地化部署与应用。首先遇到的就是部署硬件环境的问题。我自己的笔记本是一台 MacBook Pro M3，没有 Nv...
-
百度大模型文心一言api 请求错误码 一览表
错误码说明 千帆大模型平台API包含两类，分别为大模型能力API和大模型平台管控API，具体细分如下： 大模型能力API 对话Chat 续写Completions 向量Embeddings 图像Images 大模型平台管控API...