-
LLMs之RAG：只需四步骤—基于Ollama后端框架(配置phi3/LLaMA-3模型)结合Dify前端框架(设置知识库文件+向量化存储+应用发布)创建包括实现本地知识库问答/翻译助手等多个应用
LLMs之RAG：基于Ollama后端框架(配置phi3/LLaMA-3模型 结合Dify前端框架(设置知识库文件+向量化存储+应用发布 创建包括实现本地知识库问答/翻译助手等多个应用 目录 基于Ollama后端框架(配置phi3/LLaMA-...
-
一文读懂本地运行 LLM 的优秀实践方法
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM -常见的本地运行 LLM 方法。 众所周知，如今使用 ChatGPT 等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，...
-
本地部署GPT MJ: chatgpt-web-midjourney-proxy本地部署指南
1.准备工作 本文通过docker或桌面应用程序部署，包括chatgpt和MJ绘图webui。可以部署在本地电脑，也可以部署在云服务器，方便随时远程访问。 准备调用API所需的KEY。 1.1 点击链接进入官网，直接点击右上角...
-
如何在本地搭建集成大语言模型Llama 2的聊天机器人并实现无公网IP远程访问
文章目录 1. 拉取相关的Docker镜像 2. 运行Ollama 镜像 3. 运行Chatbot Ollama镜像 4. 本地访问 5. 群晖安装Cpolar 6. 配置公网地址 7. 公网访问 8. 固定公网地址 随着ChatGPT...
-
midjourney-proxy-plus搭建教程
目录 0.演示环境 1.创建Midjourney网页 2.搭建mj代理地址 3.创建目录文件 4.同步和开放数据库端口 5.拉取镜像 6.创建容器 0.演示环境 CentOS 8 宝塔8.0 Nginx >= 1.19....
-
自定义数据集使用llama_factory微调模型并导入ollama
本文所有操作均在linux系统下完成 llama_factory安装 参考github的安装命令 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama...
-
MacOS使用ollama部署codellama+openui以及llama.cpp部署
现在AI这么火，你是不是也渴望能够在本地部署并运行属于自己的大模型，然而，高昂的硬件成本又往往成了一大障碍，限制了你继续在AI领域去探索和创新。如果告诉你，无需换电脑，无需额外花钱买GPU或换显卡，你现在的电脑就可以本地跑一些大模型，那将是多么酷的一...
-
1panel+MaxKB+Ollama+Llama Linux部署指南
目录 1.1panel安装 2.MaxKB 1.MaxKB登录 3.Ollama（gpu）安装 1.安装英伟达容器安装包 1.配置apt源 2.更新源 3.安装工具包 2.使用GPU运行...
-
微软重磅出击！新一代Copilot+ PC正式发布，直面苹果与OpenAI
微软重磅出击！新一代Copilot+ PC正式发布，直面苹果与OpenAI 博主猫头虎的技术世界 ? 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： ? 精选专栏： 《面试题大全》 — 面试准备的宝典！ 《I...
-
如何本地运行Llama 2大语言模型并实现无公网IP远程访问
文章目录 1. 拉取相关的Docker镜像 2. 运行Ollama 镜像 3. 运行Chatbot Ollama镜像 4. 本地访问 5. 群晖安装Cpolar 6. 配置公网地址 7. 公网访问 8. 固定公网地址 随着ChatGPT...
-
【AIGC】本地部署 ollama + open-webui
在之前的篇章《【AIGC】本地部署 ollama(gguf 与项目整合》中我们已经使用 ollama 部署了一个基于预量化（gguf）的 Qwen1.5 模型，这个模型除了提供研发使用外，我还想提供给公司内部使用，因此还需要一个 ui 交互界面。 显然...
-
FastGPT 调用本地Whisper模型进行语音转文字
目录 一、部署Whisper模型。 二、oneapi配置 三、修改镜像中的webservice.py文件，开放跨域请求。 四、修改FastGPT代码修改 FastGPT地址:https://github.com/labring/FastGP...
-
[AIGC ]详解MinIO：特性，Docker部署和Spring Boot集成
MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数据、容器/虚机镜像等，而且MinIO非常轻量，只有一个单独的二进制文件。它的设...
-
Llama-Factory + Ollama 打造属于自己的中文版 Llama3
Meta 推出 Llama3 也有一小段时间了。Llama3 包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能（关于Llama3的具体介绍可以参考本站另外一...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的...
-
使用 ollama 部署最新的Llama 3 70B本地模型
一、ollama是什么? 在本地启动并运行大型语言模型。运行Llama 3，Mistral, Gemma, Code Llama和其他模型。自定义并创建您自己的。 综合优点： 快速下载+容器自动运行大模型，现在下载，马上上手。...
-
EasyMR 基于国产化信创的适配实践技术详解
国产化信创，即采用国产信息技术产品和服务，构建自主可控的信息技术体系。近年来，随着国家对网络安全和信息安全的重视程度不断提高，国产化信创已经成为国家战略的重要组成部分，并呈现出以下大趋势： ● 政策驱动，加速发展 国家出台了一系列政策法规，大力支持国产...
-
通义千问 2.5 “客串” ChatGPT4，你分的清吗？
作者：张添翼、董艺荃 引子 OpenAI 发布了最新的 GPT-4o 模型，通义千问也在前不久刚发布通义千问 2.5，已经和 GPT-4-Turbo 不分伯仲： 既然目前还没有和 GPT-4o 文本生成能力的对比数据，就让我们来和大模型一起做个游...
-
WOT大会日程上线：我们找来数十位大模型实践企业现身说法
这两天的技术圈里，估计大家都在摩拳擦掌等待体验OpenAI的GPT-4o（o为Omni缩写，意为“全能”）有多“全能”吧。 我们无意给市场泼冷水，只是要提醒大家，想要让大模型真正落地，市场的热，并不意味着应用实践的成熟。尤其在企业级场景中，为什么大模型落...
-
使用Quarkus和LangChain4j，LLM在Java中可以实现哪些功能？
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文试图通过一个有趣的原创项目，利用Quarkus和LangChain4j来揭开LLM在Java中使用的神秘面纱。 自从2022年11...
-
英伟达在印度招聘 AI 工程师
NVIDIA 正在印度招聘经验丰富的 AI 工程师，加入其合作伙伴公司。被选中的候选人将作为员工加入 NVIDIA 合作伙伴网络，负责推动 NVIDIA 技术的采用，并在数据中心、边缘和云部署领域获取创新设计。 这些位基于班加罗尔和新德里，专注于深度学习...
-
Docker三分钟搞定LLama3开源大模型本地部署
概述 LLaMA-3（Large Language Model Meta AI 3）是由Meta公司开发的大型开源生成式人工智能模型。它在模型结构上与前一代LLaMA-2相比没有大的变动。 LLaMA-3模型分为不同规模的版本，包括小型、中型和大型，以适...
-
五个免费使用ChatGPT API的开源项目
今天给大家介绍Github上5个比较火的免费获取GPT key的项目，希望大家能用到。真正来讲并不是GPT key,而是转发key和转发api接口，但是不管什么原理，最终只要可以实现AI问答的效果，就算完美。我们不讲过程，只要结果。以上都是白嫖的信息差果...
-
五种搭建LLM服务的方法和代码示例
在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。 1、Anaconda + CPU 我们首先介...
-
大模型技术实践（二）｜关于Llama 2你需要知道的那些事儿
在上期文章中，我们简要回顾了Llama模型的概况，本期文章我们将详细探讨【关于Llama 2】，你需要知道的那些事儿。 01-Llama 2的性能有多好？ 作为Meta新发布的SOTA开源大型语言模型，Llama 2是Llama模型的延续和升级。Lla...
-
小白也能微调大模型：LLaMA-Factory使用心得
大模型火了之后，相信不少人都在尝试将预训练大模型应用到自己的场景上，希望得到一个垂类专家，而不是通用大模型。 目前的思路，一是RAG(retrieval augmented generation ，在模型的输入prompt中加入尽可能多的“目标领域”的相...
-
2024-03-21 AIGC-FastGPT-本地知识库问答系统
相关文档: 接入 ChatGLM2-6B | FastGPT (fastai.site 相关步骤: FastGPT配置文件及OneAPI程序：百度网盘 请输入提取码 提取码：wuhe 创建fastgpt目录：mkdir fastgpt...
-
【Docker】搭建便捷的Docker容器管理工具 - dockerCopilot
【Docker】搭建便捷的Docker容器管理工具 - dockerCopilot 前言 本教程基于绿联的NAS设备DX4600 Pro的docker功能进行搭建。前面有介绍过OneKey，而dockerCopilot便是OneKey的升级版，作者对其...
-
【换模型更简单】如何用 Serverless 一键部署 Stable Diffusion_
作者｜寒斜（阿里云智能技术专家） 前文回顾 AI 作画火了，如何用 Serverless 函数计算部署 Stable Diffusion?【自己更换模型】如何用 Serverless 一键部署 Stable Diffusion？ 本篇章是阿里云函...
-
【AI】在本地 Docker 环境中搭建使用 Hugging Face 托管的 Llama 模型
目录 Hugging Face 和 LLMs 简介 利用 Docker 进行 ML 格式的类型 请求 Llama 模型访问 创建 Hugging Face 令牌 设...
-
群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务
文章目录 1. 拉取相关的Docker镜像 2. 运行Ollama 镜像 3. 运行Chatbot Ollama镜像 4. 本地访问 5. 群晖安装Cpolar 6. 配置公网地址 7. 公网访问 8. 固定公网地址 随着ChatGPT...
-
云原生技术赋能AI绘图：Stable Diffusion在腾讯云的部署与应用新篇章
摘要 随着信息技术的飞速发展和数字化转型的深入推进，云原生架构已成为企业数字化转型的重要基石。Docker容器、Serverless和微服务等技术作为云原生的核心组成部分，正在不断推动着企业应用架构的革新与升级。本文旨在总结近期在云原生实践、容器技术、...
-
开源版AI程序员来了：GPT-4加持，能力比肩Devin，一天1.4k Star
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近，有很多人在为 AI 代替自己的工作而担忧。 上个月火遍 AI 圈的「首位 AI 程序员」Devin，利用大模型能力已经掌握了全栈技...
-
华人又来炸场！一个命令工具让GPT-4干掉Devin和RAG！Jim Fan：提示工程2.0没必要了！
出品 | 51CTO技术栈（微信号：blog51cto） 华人又来炸场了！昨天，普林斯顿的CS/NLP硕士生John Yang在Github上开源了一款堪比Devin的利器。不到一天，就在Github上斩获了1.3k 星，异常生猛。据悉，4月10日，详细...
-
Ubuntu 22.04 LTS AIGC GPU环境搭建（NVIDIA 550.67+CUDA 12.4+cuDNN）
Ubuntu 22.04 LTS AIGC GPU环境搭建（NVIDIA+CUDA+cuDNN） 一、服务器信息 1.1 硬件配置 服务器名称 CPU（Intel® Xeon® W-2245） 显卡（NVIDIA Quadro RTX 60...
-
Meta LLaMA 2实操：从零到一搭建顶尖开源大语言模型【超详篇】
前言 本文章由 [jfj] 编写，所有内容均为原创。涉及的软件环境是在nvidia-docker环境进行的，如对docker未了解如何使用的，可以移步上一篇文章nvidia-docker安装详解。 在 nvidia-docker 容器中运行时，Dock...
-
容器部署对比：通用容器部署 vs 使用腾讯云容器镜像服务（TCR）部署 Stable Diffusion
目录 引言 1 通用容器部署的主要步骤 1.1 准备环境 1.2 构建 Docker 镜像 1.3 上传镜像 1.4 部署容器 1.5 配置网络 1.6 监控和维护 2 使用腾讯云容器镜像服务（TCR）部署的主要步骤 2.1 下载 Sta...
-
stable diffusion webui 搭建和初步使用
官方repo: GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI 关于stable-diffusion的介绍：Stable Diffusion｜图解稳定扩散原理...
-
[AIGC] Kong：一个强大的 API 网关和服务平台
Kong（Kong API Gateway）是一个开源 and 免费的 API 网关 and 服务平台，它可以用来管理和控制 API 的生命周期和流量。Kong 是一个可扩展的、可靠的 and 高性能的平台，支持 millions 个 API 和 bill...
-
用云服务器构建gpt和stable-diffusion大模型
用云服务器构建gpt和stable-diffusion大模型 一、前置知识 二、用云端属于自己的聊天chatGLM3 step1、项目配置 step2、环境配置 1、前置知识 2、环境配置流程 step3、创建镜像 1、前置知识 2、创...
-
英伟达AI Workbench正式发布，大幅度简化大模型开发流程
3月22日，英伟达在官网宣布，正式发布NVIDIA AI Workbench。 AI Workbench是一款面向AI大模型开发人员的工具包，可以帮助开发人员消除很多繁琐、复杂的部署、开发流程。 无论你的技术水平如何，开发人员都可以体验快速可靠的 GPU...
-
【本地大模型部署与微调】ChatGLM3-6b、m3e、one-api、Fastgpt、LLaMA-Factory
本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m3e 3....
-
微软AI程序员登场，10倍AI工程师真来了？996自主生成代码，性能超GPT-4 30%
全球首个AI程序员Devin的横空出世，可能成为软件和AI发展史上一个重要的节点。 它掌握了全栈的技能，不仅可以写代码debug，训模型，还可以去美国最大求职网站Upwork上抢单。 一时间，网友们惊呼，「程序员不存在了」？ 甚至连刚开始攻读计算机学位...
-
利用学生认证部署 copilot-gpt4-service 白嫖 gpt-4.0
过年期间在公众号 HelloGitHub 上看到了一个项目 copilot-gpt4-service，可以将 GitHub Copilot 转成 ChatGPT 的服务。 这么一个转换的好处是， GitHub 可以通过学生认证免费试用，转换成 ChatGP...
-
LLaMA-Factory 8卡4090 deepspeed zero3 微调Qwen14B-chat
环境安装 推荐使用docker，Ubuntu20.04https://www.modelscope.cn/docs/%E7%8E%AF%E5%A2%83%E5%AE%89%E8%A3%85 docker pull registry.cn-beijin...
-
探索Kubernetes与AI的结合：PyTorch训练任务在k8s上调度实践
概述 Kubernetes的核心优势在于其能够提供一个可扩展、灵活且高度可配置的平台，使得应用程序的部署、扩展和管理变得前所未有的简单。通用计算能力方面的应用已经相对成熟，云原生化的应用程序、数据库和其他服务可以轻松部署在Kubernetes环境中，实现...
-
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B 简介 环境配置 环境搭建 依赖安装 代码及模型权重拉取 拉取 Chinese-LLaMA-Alpaca 拉取 llama-30b...
-
仅一行命令本地 CPU 环境快速上手 Google 开源大模型 Gemma
Google Gemma 是什么？ 2月底 Google 发布的 Gemma 相比自家的 Gemini 更加轻量级，不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文，相比其他开源在各个方面都占了上风。科技巨头出品、领先地位、全面对外开放、免费可商用...
-
Midjourney
知数云 | 数字化服务的智慧之选 Midjourney Quick Start Guide Midjourney是一款AI制图工具，只要输入关键字，透过AI算法就能生成相对应的图片。 使用Spring接口与Midjourney官方API交互涉及几个步...
-
【Docker】部署 copilot-gpt4-service，将 Github Copilot 转换为 GPT-4 模型进行对话。
引言 利用 copilot-gpt4-service 服务，将 Github Copilot 转换为 ChatGPT，将使得你可以通过 ChatGPT-Next-Web 或者其他第三方客户端，使用 Github Copilot 的 GPT-4 模型进行...