-
【知识星球】大模型与AIGC+从零学AI+项目与人才招聘共3大知识星球成立，共建有三AI星球社区生态...
大家好，今年我们生态的重点将再次聚焦于知识星球社区，为了尽可能满足各层次学习者学习人工智能的需求，也为了满足非学习者对于项目研发和人才招聘的需求，我们将其分为3大星球社区。有三AI（大模型与AIGC）+ 有三AI（零基础学人工智能）+ 有三...
-
橙芯创想：香橙派AIPRO解锁升腾LLM与Stable Diffusion的创意密码
文章目录 引言 一. 香橙派AI PRO配置以及展示 优秀的扩展能力 实物展示 二、Ascend-LLM模型部署 开机 xshell连接香橙派 实战运行部署 运行结果分析 开发版表现 三、Stable Diffusion 文生图 性能...
-
基于autodl与llama-factory部署llama3-8B开源大模型
一、注册与购买autodl实例 注册了autodl账号以后，我们便可以在网站首页看到具体的实例信息，同时能够观察其具体的系统盘与数据盘以及缓存大小，对于我们即将微调的llama3开源大模型来说，通过资料的查询了解，我们只需要24G显存就可...
-
Llama 3.1中文微调数据集已上线，超大模型一键部署
7 月的 AI 圈真是卷完小模型卷大模型，精彩不停！大多数同学都能体验 GPT-4o、Mistral-Nemo 这样的小模型，但 Llama-3.1-405B 和 Mistral-Large-2 这样的超大模型让很多小伙伴犯了难。 别担心！hyper.a...
-
【LLM】一、利用ollama本地部署大模型
目录 前言 一、Ollama 简介 1、什么是Ollama 2、特点： 二、Windows部署 1.下载 2.安装 3.测试安装 4.模型部署： 5.注意 三、 Docker部署 1.do...
-
Xinference安装及部署大模型
1. Xinference 介绍 Xorbits Inference (Xinference 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理...
-
Whisper Android 项目使用教程
Whisper Android 项目使用教程 whisper_androidOffline Speech Recognition with OpenAI Whisper and TensorFlow Lite for Android项目地址:https...
-
【深度学习】LLaMA-Factory 大模型微调工具, 大模型GLM-4-9B Chat ，微调与部署 (2)
文章目录 数据准备 chat 评估模型 导出模型 部署 总结 资料： https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md https:...
-
Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型
Get up and running with large language models. Run Llama 3.1, Phi 3, Mistral, Gemma 2, and other models. Customize and create yo...
-
【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本，测试成功，还支持音频直接翻译成英文
1，视频地址 https://www.bilibili.com/video/BV1Z7421K7vL/ 【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成...
-
【03】LLaMA-Factory微调大模型——多模型部署
为了构建法律领域的垂直应用大模型，记录使用LLaMA-Factory微调大模型的过程，以期UU们可以复刻与应用。上文【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建已在本机成功部署模型微调框架，本文则在本机部署多种基础模型，为...
-
大模型llama.cp编译
一、大模型部署工具 llama.cpp 二、使用 llama.cpp 量化模型 2.1 克隆llama.cp 项目地址： https://github.com/ggerganov/llama.cpp 一般配置SSH KEY，然后采用SSH...
-
LLM大模型实战项目--基于Stable Diffusion的电商平台虚拟试衣
本文详细讲解LLM大模型实战项目，基于Stable Diffusion的电商平台虚拟试衣 一、项目介绍 二、阿里PAI平台介绍 三、阿里云注册及开通PAI 四、PAI_DSW环境搭建 五、SD+LORA模型微调 一、项目介绍 ...
-
AI时代，有必要学AIGC大型模型部署实践课程嘛？适合那些人学习？有什么用？
在人工智能（AI）迅猛发展的今天，AIGC（Artificial Intelligence Generated Content，即基于人工智能的内容自动生成）已成为推动产业创新与发展的核心驱动力之一。随着ChatGPT、Claude等大型语言模型的兴起，掌...
-
阿里云全面升级GPU云服务：AI大模型推理性能可提升100%
快科技7月19日消息，阿里云推出全面升级的GPU云服务，通过全新优化GPU套件，多GPU推理服务性能可最大提升100%。 针对调用GPU算力最常用的容器技术，阿里云推出ACK云原生AI套件，帮助开发者及企业更高效地开发和部署AI应用，加速大模型应用落地。...
-
使用llama.cpp量化模型
文章目录 概要 整体实验流程 技术细节 小结 概要 大模型量化是指在保持模型性能尽可能不变的情况下，通过减少模型参数的位数来降低模型的计算和存储成本。本次实验环境为魔搭社区提供的免费GPU环境（24G），使用Llama.cpp进行...
-
stable diffusion 的controlNet 安装和使用
stable diffusion 安装controlNet需要先下载扩展 扩展地址 下载了扩展以后，需要下载相应的模型，每个模型大约1.45G,可以按需下载。模型地址 如果下载速度太慢，可以考虑去liblib下载，但是是全量模型liblib 模型下载...
-
【Llama 2的使用方法】
Llama 2是Meta AI（Facebook的母公司Meta的AI部门）开发并开源的大型语言模型系列之一。Llama 2是在其前身Llama模型的基础上进行改进和扩展的，旨在提供更强大的自然语言处理能力和更广泛的应用场景。 以下是Llama 2的一...
-
#13 在Web项目中集成Stable Diffusion的指南
文章目录 前言 1. 集成前的准备 1.1 确定需求 1.2 环境搭建 2. 集成步骤 2.1 后端集成 2.2 前端集成 3. 优化与测试 3.1 性能优化 3.2 功能测试 4. 安全与隐私 4.1 数据保护 4.2 安全措...
-
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM 大型语言模型 (LLM 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU...
-
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
Qwen2（通义千问2）是阿里云最近推出的开源大型语言模型系列，相比2月推出的Qwen1.5，Qwen2实现了整体性能的代际飞跃，大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。其中，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0...
-
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型
【大模型部署】在C# Winform中使用文心一言ERNIE-3.5 4K 聊天模型 前言 今天来写一个简单的ernie-c#的例子，主要参考了百度智能云的例子，然后自己改了改，学习了ERNIE模型的鉴权方式，数据流的格式和简单的数据解析，实现了在...
-
LLaMa大模型微调
1. 模型的微调 1.1 大模型LLaMa下载 先下载一个完整版本的LLaMa模型，官网的或别人下载微调过的中文版本的。 1.2 指令微调 执行run_clm_sft_with_peft 1.3 合并LORA 大模型的原始参数和微调后的参数...
-
使用Amazon SageMaker构建高质量AI作画模型Stable Diffusion_sagemaker ai绘图(1)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。 需要这份系统化资料的朋友，可以戳这里获取 一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的...
-
Llama 3 五一超级课堂中实践llama3的部署，微调，量化优化部署学习总结：第一部分llama3部署
本次学习分享基于Llama3-Tutorial（Llama 3 超级课堂）分享，git地址如下 GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompa...
-
最猛AI独角兽：一年估值1700亿，再造一个OpenAI！马斯克LeCun却吵起来了
马斯克搞大模型又融到60亿美元（约435亿元）！ 这是xAI最大的一轮融资，目前估值已来到240亿美元（约1738亿元），一举超过Anthropic，成为OpenAI之下第二位。 借着这个势头，老马也亲自下场发起招聘广告： 如果你相信我们理解宇宙的使命，...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的...
-
通透！如何选择合适的机器学习算法
算法选择注意事项 为任务选择正确的机器学习算法涉及多种因素，每个因素都会对最终决策产生重大影响。以下是决策过程中需要牢记的几个方面。 1.数据集特征 数据集的特征对于算法的选择至关重要。数据集的大小、包含的数据元素的类型、数据是结构化的还是非结构化的等...
-
谷歌推出开源工具Model Explorer，助力AI透明度和问责制
随着人工智能模型日益复杂化，理解其内部工作机制的挑战也日益凸显，这对研究人员和工程师来说是一个紧迫的问题。谷歌最新推出的开源工具Model Explorer承诺为这些系统的不透明性带来曙光，有望开启AI透明度和问责制的新时代。 Model Explore...
-
跟这些头部厂商交流后，终于知道AIGC、大模型持续火爆的原因 | WOT技术大会
2024年，是AIGC出现的第三年，也是其应用落地的元年！站在2024年的当下，有人会产生这样的疑问：为什么AIGC、大模型持续火爆？ 一个新兴概念之所以持续火爆，无外乎两个原因：往上看，技术本身还有着无穷无尽的发展潜力，远未触顶，国外的OpenAI、...
-
重启与OpenAI的谈判，苹果为iOS 18的AI找“备胎”
如果说在AI大模型崭露头角的2023年，苹果方面的做法是观望，那么到了2024年，他们显然已经不再认为这一轮人工智能浪潮是“AI炒作”（AI hype）了。继此前300亿参数规模的MM1模型亮相后，苹果又在不久前在AI开源社区Hugging Face放出了...
-
云端部署大模型的三个秘密
编译 | 星璇 出品 | 51CTO技术栈（微信号：blog51cto） 在过去的两年里，我更多地参与了使用大型语言模型（LLMs）的生成式AI项目，而非传统的系统。我开始怀念无服务器云计算。它们的应用范围广泛，从增强对话式AI到为各行各业提供复杂的分...
-
从AIGC到AGI，为什么我们需要更多的“技术信仰派”？
整理 | 伊风 采访 | 张晓楠 嘉宾 | 巴川、朱雷、肖然 出品 | 51CTO技术栈（微信号：blog51cto） 作为AIGC应用落地元年，2024开年就抛给我们一些不太好回答的问题： 在以探索AGI为长期目标时，我们该坚守技术信仰吗？ 除了复制...
-
大模型的学习 LLaMa和ChatGLM，minichatgpt4
LLaMa和ChatGLM，minichatgpt4 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？ 答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量...
-
开源大模型食用指南官网地址入口 详细环境配置、模型部署、高效微调方法教程
开源大模型食用指南是一个旨在帮助用户学习和应用开源大模型的全流程指导教程。它提供了详细的环境配置、模型部署、高效微调等方法，以简化开源大模型的使用和应用，让更多普通学习者能够轻松上手。该项目面向对开源大模型感兴趣且想自主上手的学习者，为他们提供了详尽的环境...
-
Python一个高效的机器学习库：HummingBird
Python HummingBird库是一个高效的机器学习库，它可以将训练好的机器学习模型转换为高性能的代码，以便在边缘设备上进行推理。HummingBird库可以将模型转换为多种格式，包括C++、CUDA和ONNX等，这使得它非常适合在嵌入式设备、移动...
-
OpenAI发布新的AI微调工具：“绝大多数组织将开发定制模型”
OpenAI宣布了对其微调API的重大增强，以及其定制模型程序的扩展。这些更新将赋予开发者前所未有的控制权，以微调AI模型，并为构建特定业务需求的定制模型提供新途径。自2023年8月推出以来，GPT-3.5的微调API已经成为组织精细化AI模型以执行特定...
-
什么是生成式AI？有哪些特征类型
生成式AI是人类一种人工智能技术，可以生成各种类型的内容，包括文本、图像、音频和合成数据。那么什么是人工智能？人工智能和机器学习之间的区别是什么？有哪些技术特征？ 人工智能是一门学科，是计算机科学的一个分支，研究智能代理的创建，这些智能代理是可以推理、...
-
昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
北京时间3月22日消息，人工智能框架作为软件根技术，已成为加速人工智能大模型开发、推动产业智能化发展的核心力量。以“为智而昇，思创之源”为主题的昇思人工智能框架峰会2024今日在北京国家会议中心举办，旨在汇聚AI产业界创新力量，推动根技术持续创新，共建人...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base...
-
生成式 AI 时代，手机正在进行一次全栈革新？
最近一段时间，AI 与大模型技术突飞猛进。春节刚过，前沿方向上就迎来了新一轮突破。 OpenAI 的 Sora 一下子把 AI 视频生成的进度条拉快了半年。 在大模型的应用领域，技术落地应用的速度也在加快。目前各家大厂的新一代旗舰手机已经悉数登场，它们绝...
-
【阿里云】使用EAS一键部署Stable Diffusion AIGC绘画
文章目录 前言 前提条件 部署EAS服务 1. 进入PAI-EAS 模型在线服务页面 2. 点击部署服务 3. 在部署服务页面，配置以下关键参数 4. 点击部署后等待 自己的模型及输出目录等内容如何挂载 启动WebUI进行模型推理 后续...
-
雷军建议加强人工智能人才培养：顶尖AI人才储备不足
雷军在全国两会上提出了关于多个领域的建议，其中包括绿色低碳、人工智能、智能驾驶和智能制造等关键议题。 首先，雷军对绿色低碳领域的发展提出了加快建立制造业碳足迹背景数据库的建议。在全球碳中和的大背景下，他认为我国制造业在实现“双碳”目标中承担着重要责任。面对...
-
雷军2024两会建议：建议加强培养AI人才
雷军今日在全国两会上提出了多项建议，涉及绿色低碳、人工智能、智能驾驶和智能制造等多个领域。他强调了我国在这些领域的发展潜力和面临的挑战，并提出了相应的解决策略。 首先，针对绿色低碳领域，雷军建议加快建立制造业碳足迹背景数据库，以推动国际衔接与互认。他强调，...
-
Gemma.cpp官网体验入口 谷歌Gemma AI模型下载地址
Gemma.cpp是谷歌为Gemma模型开发的轻量级、独立的C++推理引擎。它专注于为Gemma 2B和7B模型提供简洁、直接的实现，旨在支持研究和实验用例，易于嵌入其他项目且具有高度的可修改性。gemma.cpp利用Google Highway库，优化了...
-
BentoML：如何使用 JuiceFS 加速大模型加载
BentoML 是一个开源的大语言模型（LLM） AI 应用的开发框架和部署工具，致力于为开发者提供最简单的构建大语言模型 AI 应用的能力，其开源产品已经支持全球数千家企业和组织的核心 AI 应用。 当 BentoML 在 Serverless 环...
-
什么是机器学习中的模型部署？
在机器学习中，模型部署是将机器学习模型集成到现有生产环境中的过程，在该环境中，模型可以接受输入并返回输出。目标是让其他人可以使用经过训练的机器学习模型的预测。 大多数在线资源侧重于机器学习生命周期的前期步骤，例如探索性数据分析(EDA 、模型选择和模型...
-
清华系2B模型杀出，性能吊打LLaMA-13B
2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。 在综合性榜单上与 Mistral-7B 相近，在中文、数学、代码能力表现更...
-
大模型开车哪家强？普渡研究给指南：GPT-4真行啊
现在一句口令，就能指挥汽车了。 比如说声“我开会要迟到了”“我不想让我朋友等太久”等等，车就能理解，并且自动加速起来。 如果这次行程有不满意的，只需要给汽车提供反馈建议:“要在充分保障安全的前提下”，汽车的自动驾驶行为就会在下次行程中进行自我修正。 这是来...
-
（新人免费）基于PAI-EAS对Stable diffusion进行LoRA模型微调|阿里云
基于PAI-EAS对Stable diffusion进行微调|阿里云 前提条件 已开通EAS并创建默认工作空间 部署Kohya服务 PAI-EAS控制台>部署服务>新建服务>服务名称自定义>部署方式：镜像部署AI-We...