-
Ollama保姆级教程
Ollama保姆级教程 Ollama是一个开源框架，专门设计用于在本地运行大型语言模型。它的主要特点是将模型权重、配置和数据捆绑到一个包中，从而优化了设置和配置细节，包括GPU使用情况，简化了在本地运行大型模型的过程。 Ollama还提供了对模型量化...
-
专为苹果AI大模型打造！iPhone 16搭载A18芯片
2024年苹果秋季新品发布会于9月10日召开，该公司宣布推出最新一代的iPhone 16。这款手机配备了Apple最坚固的玻璃保护屏幕，可有效防止刮擦。 iPhone 16和iPhone 16 Plus的显示屏尺寸分别为6.1英寸和6.7英寸。在相机控制按...
-
Ollama 本地部署大模型 | Windows本地部署 Llama3.1 大模型
Get up and running with large language models. Run Llama 3.1, Phi 3, Mistral, Gemma 2, and other models. Customize and create yo...
-
基于AutoDL的语言大模型入门——Llama2-chat-13B-Chinese
AutoDL界面 ① autodl-tmp文件夹：数据盘，一般用来存放大的文件。 ② 其他文件夹“autodl-pub” “miniconda3” “tf-logs”等等存放在系统盘，其中tf-logs是用于存放训练过程tensorboard的...
-
SenseVoice多语言语音理解模型之最新部署落地经验
SenseVoice是阿里云通义实验室开发的一款多语言音频基础模型，专注于高精度多语言语音识别、情感辨识和音频事件检测。 SenseVoice支持超过50种语言的识别，并且在中文和粤语上的识别效果优于Whisper模型，提升了50%以上。 SenseV...
-
[AI]如何在本地windows运行llama模型（CPU可运行）
一、为什么我们要在本地运行llama模型？ 想必大家已经体验过GPT， Claude，亦或是国内开源的GLM，这些强大的模型了，但是这些大模型虽然强大但有的要么收费，要么在本地部署对硬件要求高，要么就是本地部署的配置繁琐，对小白很不友好。...
-
为了AI手机这们生意，厂商正在拿堆料赌未来
众所周知，对于最近这两年的手机市场来说，“内存容量”一直都是个颇受关注的话题。一方面，在如今APP普遍“膨胀”的趋势下，即便是不打游戏的用户，现在也普遍希望自己的手机能有更大的内存。 但另一方面，但凡有关注业界相关资讯的朋友可能会知道，自从去年下半年开始...
-
小米澎湃OS 2曝光：主攻方向是AI
快科技8月3日消息，博主数码闲聊站爆料，{tag_keyurl_2} 2新系统的主攻方向是AI，这次澎湃OS将会在全场景贯彻落地AI功能。 目前AI功能已在澎湃OS上线，比如小米14 Ultra首发的AI大模型计算摄影平台Xiaomi AISP。 小米工程...
-
使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的
1，视频地址 2，关于llama.cpp 项目 https://github.com/ggerganov/llama.cpp LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型（简易 Pyth...
-
深度解读昇腾CANN模型下沉技术，提升模型调度性能
本文分享自华为云社区《深度解读昇腾CANN模型下沉技术，提升模型调度性能》，作者：昇腾CANN。 AI模型的运行通常情况下需要CPU和NPU（昇腾AI处理器）等AI专用处理器协同工作，CPU所在位置称为主机端（Host），而NPU所在位置称为设备端（De...
-
【OrangePi AIpro】香橙派 AIpro运行大模型之Stable diffusion与 llama2
前言：在学生年代，小编用过香橙派4B、树莓派3B、树莓派4B、ROCK Pi4等开发板，每次拿到新开发板的时候，总会迫不及待地装上系统，当做一个小型电脑玩上一波，然后再将一些功能在上面实现或者将算法部署到上面，体验下性能的提升，相信每一个技术爱好者都如此，...
-
使用LMDeploy部署和量化Llama 3模型
## 引言 在人工智能领域，大型语言模型（LLMs）正变得越来越重要，它们在各种自然语言处理任务中发挥着关键作用。Llama 3是近期发布的一款具有8B和70B参数量的模型，它在性能和效率方面都取得了显著的进步。为了简化Llama 3的部署和量化过程，lm...
-
技术突破：llamafile一键部署大模型，释放AI潜力
目录 一、引言 二、什么是llamafile？ 1、设计目标 2、技术构成 3、与传统部署方式的对比 4、一键部署的优势 三、核心特性 1、一键部署的便捷性 2、跨平台支持 3、独立可执行文件 4、简化的分发流程 5、技术细节 6、用户体...
-
区分LLaMA、llama.cpp和Ollama
大模型本地部署和运行中，经常遇到这三个概念，llama，ollama，llama.cpp。 刚开始接触时，的确有些傻傻分不清楚。这里简单区分理解下，方便快速上手。 简单来讲，llama 是一个Meta公司开源的预训练大型语言模型，llama.cpp用于加...
-
Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测
Chrome团队宣布，正在探索“内置 AI”概念，即浏览器将具有内置 AI 模型，以便为浏览器功能和网络平台 API 启用设备上的 AI。 官方介绍称，借助内置 AI，您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务，而无需担心部...
-
腾讯混元发布开源加速库，生图时间缩短75%
6月6日，腾讯发布针对腾讯混元文生图开源大模型（以下简称为混元DiT模型）的加速库，让推理效率大幅提升，生图时间缩短75%。 混元DiT模型的使用门槛也大幅降低。用户可以基于ComfyUI的图形化界面，使用腾讯混元文生图模型能力。同时，混元DiT模型已经...
-
在Docker中部署Llama大型语言模型
Docker作为一个轻量级的容器化平台，使得应用程序的部署和扩展变得简单而高效。在Docker中部署Llama大型语言模型，可以确保模型运行环境的一致性和可移植性，同时也便于管理和扩展。本文将介绍如何在Docker中部署Llama模型的具体步骤和注意事项。...
-
在树莓派上运行语音识别和LLama-2 GPT!
目前，绝大多数大模型运行在云端服务器，终端设备通过调用api的方式获得回复。但这种方式有几个缺点：首先，云api要求设备始终在线，这对于部分需要在无互联网接入的情况运行的设备很不友好；其次，云api的调用需要消耗流量费，用户可能不想支付这部分费用；最后，如...
-
1panel+MaxKB+Ollama+Llama Linux部署指南
目录 1.1panel安装 2.MaxKB 1.MaxKB登录 3.Ollama（gpu）安装 1.安装英伟达容器安装包 1.配置apt源 2.更新源 3.安装工具包 2.使用GPU运行...
-
这些AI芯片创企想挑战英伟达，它们能成功吗？
科幻小说《沙丘》中有这样一句话：“谁控制了GPU，谁就控制了宇宙。”在今天的科技世界，如果哪家企业想在AI领域有所见树，就要购买英伟达GPU。 分析师们喋喋不休，将追逐AI梦想的企业分成两类，也就是“GPU-rich”和“GPU-poor”，前者拥有大...
-
看红帽如何在RHEL与OpenShift中玩转生成式AI
市场上有很多生成式AI平台的选择，为什么要选择红帽? 红帽总裁兼CEO Matt Hicks直言红帽的不同之处在于运行位置的核心灵活性。企业既可以对小型开源模型进行混合部署，也可以在公有云或自有数据中心训练模型，同时支持主要的GPU供应商。 最近在R...
-
联发科天玑 9300+ 处理器发布 支持Llama27B端侧大模型运行
在今日上午的MediaTek天玑开发者大会MDDC2024上，备受瞩目的天玑9300++旗舰处理器终于揭开了神秘的面纱。这款处理器的CPU架构精心布局，融合了1个高达3.40GHz的Cortex-X4核心，3个2.85GHz的核心，以及4个2.00GHz的...
-
量化、剪枝、蒸馏，这些大模型黑话到底说了些啥？
量化、剪枝、蒸馏，如果你经常关注大语言模型，一定会看到这几个词，单看这几个字，我们很难理解它们都干了些什么，但是这几个词对于现阶段的大语言模型发展特别重要。这篇文章就带大家来认识认识它们，理解其中的原理。 模型压缩 量化、剪枝、蒸馏，其实是通用的神经网络...
-
【总结】在嵌入式设备上可以离线运行的LLM--Llama
文章目录 Llama 简介 运用 另一种：MLC-LLM 一个令人沮丧的结论在资源受限的嵌入式设备上无法运行LLM（大语言模型）。 一丝曙光：tinyLlama-1.1b（10.1亿参数，需要至少2.98GB的RAM） Llam...
-
玩转大模型！用Replicate一键部署
Replicate是一个云端的机器学习模型运行平台。它可以让用户使用云端API 直接运行机器学习模型，而无需了解复杂的机器学习模型内部构造。 Replicate允许用户在Python或Jupyter Notebook中运行模型，并在云端进行模型的部...
-
谷歌狂喜：JAX性能超越Pytorch、TensorFlow！或成GPU推理训练最快选择
谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。 而且测试并不是在JAX性能表现最好的TPU上完成的。 虽然现在在开发者中，Pytorch依然比Tensorflow更受欢迎。 但未来，也许有更多...
-
前谷歌工程师创业造AI芯片，要比英伟达好十倍！已融资2500万美元
3月28日消息，英伟达在AI芯片市场的主导地位激发了其他公司自主设计芯片的决心。尽管从头开始设计芯片充满挑战，耗时多年且成本高昂，通常以失败告终，但人工智能的巨大潜力驱使业界人士勇敢尝试。 在这一背景下，两位前谷歌工程师共同创立了MatX。他们利用在谷...
-
become-image官网体验入口 图像处理AI模型在线使用地址
become-image是一个AI模型，能够将任何面部图片适配到另一张图片上。该项目提供了在Replicate上运行此模型的链接，以及在ComfyUI中运行的指南。此外，还提供了在本地开发和运行Web UI的详细步骤。 点击前往become-image官...
-
参照人类大脑，学会忘记会让AI大模型变得更好？
计算机科学家团队近期开发出一种更敏捷更具弹性的机器学习模型，它们可以周期性忘记已知信息，而现有大语言模型不具备忘却能力。 实测表明，在很多情况下，“忘却法”的训练效率很高，忘却型模型表现也会更好。韩国基础科学研究院（Institute for Basi...
-
微软“办公新时代”活动前瞻，主打 AI：新画图应用、提高游戏帧率等
3 月 8 日消息，微软已敲定北京时间 3 月 22 日凌晨 1 点举办线上新品发布会，主题为“办公新时代”，预估主要内容是 Copilot、Windows 和 Surface，利用 AI 提高用户生产力。 根据 Windows Latest 报道，微...
-
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以...
-
AIGC实战——能量模型(Energy-Based Model)
AIGC实战——能量模型 0. 前言 1. 能量模型 1.1 模型原理 1.2 MNIST 数据集 1.3 能量函数 2. 使用 Langevin 动力学进行采样 2.1 随机梯度 Langevin 动力学 2.2 实现 Langevin...
-
全网最全stable diffusion模型讲解！快来！！小白必收藏！！
手把手教你入门绘图超强的AI绘画程序Stable Diffusion，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新Stable Diffusion保姆级教程资料包（文末可获取） AI模型最新展现出的图像生成能力远远超出人们的预期...
-
AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真
还记得之前的AI读心术吗？最近，「心想事成」的能力再次进化， ——人类可以通过自己的想法直接控制机器人了！ 来自麻省理工的研究人员发表了Ddog项目，通过自己开发的脑机接口（BCI）设备，控制波士顿动力的机器狗Spot。 狗狗可以按照人类的想法，移动到特...
-
20240126请问在ubuntu20.04.6下让GTX1080显卡让whisper工作在large模式下？
20240126请问在ubuntu20.04.6下让GTX1080显卡让whisper工作在large模式下？ 2024/1/26 21:19 问GTX1080模式使用large该如何配置呢？ 这个问题没有完成，可能需要使用使用显存更大的显卡了！ 比如G...
-
Stable Diffusion WebUi云端部署配置记录
一、前言 业务逻辑：服务器部署sdwebui项目，远程浏览器访问ui界面。服务器可租用AutoDL的GPU服务器 服务器：租用AutoDL的GPU服务器，Linux Stable Diffusion WebUi：作者AUTOMATIC1111，git...
-
【随手记录】Llama Tutorial 大语言模型实践 手把手系列带实践源码
这个tutorial的契机是yy突然看到了一个workshop 所以类似于一周大作业的形式，输入command输出使用了自动驾驶哪些模块，代码在这里 所以就干一干，顺便写一个tutorial给大家参考和教程 引申更多的应用 参考资料： https:...
-
哪些编程语言和领域最适合应用AIGC技术？
1. 引言 人工智能技术的发展已经深刻影响了各个行业，使得自动化和智能化成为了当今的一个热点。与此同时，应用在人工智能领域的算法和模型也变得越来越复杂。为了更好地应对这些挑战，越来越多的开发者开始关注应用于智能计算的编程语言和领域。本文将深入讨论哪些编...
-
Stable Diffusion 硬核生存指南：WebUI 中的 CodeFormer
本篇文章聊聊 Stable Diffusion WebUI 中的核心组件，强壮的人脸图像面部画面修复模型 CodeFormer 相关的事情。 写在前面 在 Stable Diffusion WebUI 项目中，源码 modules 目录中，有一个有趣...
-
AIGC：大语言模型开放平台OpenLLM简介（提供简易的模型部署体验）
文章目录 @[toc] 简介 一、安装 二、启动LLM服务器 项目链接 简介 该项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把大语言模型（LLM）部署到云端或本...
-
AIGC｜手把手教你进行ChatGLM模型部署实践
一、背景介绍 模型部署基本步骤分为模型选择、模型部署、运行，如果需要在特定的场景下定制化模型，则还需要进行数据集的选择、数据集格式转换、微调。 根据上述的步骤本教程选取如下的开源模型、数据集，来对医疗场景下进行定制化模型部署。当然模型部署对G...
-
几何纹理重建新SOTA！浙大提出SIFU：单图即可重建高质量3D人体模型
在AR、VR、3D打印、场景搭建以及电影制作等多个领域中，高质量的穿着衣服的人体3D模型非常重要。 传统的方法创建这些模型不仅需要大量时间，还需要能够捕捉多视角照片的专业设备，此外还依赖于技术熟练的专业人员。 与此相反，在日常生活中，我们最常见...
-
Aiartapps官网体验入口 AI艺术图像创作工具免费试用地址
Aiartapps是一款为设计师和创意工程师提供各种AI艺术相关的资源和工具的创新产品。它为用户提供了生成艺术、人物头像创作、儿童故事生成、图像创作等多种功能，而无需具备机器学习知识。Aiartapps产品不仅提供了API接口和SDK支持，还具备稳定的扩散...
-
GitHub正式发布Copilot Chat，开放给所有用户使用
功能特性 Copilot Chat是一款以编程为中心的聊天机器人，类似于ChatGPT。它由GPT-4提供支持，开发者可以使用自然语言向其提问，获取实时的编程指导，例如解释概念、检测漏洞或编写单元测试。 使用范围 最初，Copilot Chat 为...
-
Stable Diffusion 硬核生存指南：WebUI 中的 GFPGAN
本篇文章聊聊 Stable Diffusion WebUI 中的核心组件，强壮的人脸图像面部画面修复模型 GFPGAN 相关的事情。 写在前面 本篇文章的主角是开源项目 TencentARC/GFPGAN，和上一篇文章《Stable Diffusio...
-
OpenAI的人工智能语音识别模型Whisper详解及使用
1 whisper介绍 拥有ChatGPT语言模型的OpenAI公司，开源了 Whisper 自动语音识别系统，OpenAI 强调 Whisper 的语音识别能力已达到人类水准。 Whisper是一个通用的语音识别模型，...
-
stable diffusion模型讲解
AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有惊人视觉效果的图像，其背后的运行机制显得十分神秘与神奇，但确实影响了人类创造艺术的方式。 AI模型最新展现出的图像生成能力远远超出人们的预期，直接根据文字描述就能创造出具有...
-
谷歌起草“机器人宪法”，以确保 AI 机器人不会伤害人类
1 月 5 日消息，谷歌旗下 DeepMind 公司近日公布了三项新进展，其中之一针对收集训练数据的系统，起草了“机器人宪法”，确保 AI 机器人不会伤害人类。 谷歌的数据收集系统 AutoRT 可以同时利用视觉语言模型（VLM）和大型语言模型（LLM...
-
Stable Diffusion (持续更新)
引言 本文的目的为记录stable diffusion的风格迁移，采用diffusers example中的text_to_image和textual_inversion目录 2023.7.11 收集了6张水墨画风格的图片，采用textual_...
-
语音识别之百度语音试用和OpenAiGPT开源Whisper使用
0.前言: 本文作者亲自使用了百度云语音识别,腾讯云,java的SpeechRecognition语言识别包 和OpenAI近期免费开源的语言识别Whisper(真香警告 介绍了常见的语言识别实现原理 1.NLP 自然语言处理(人类语言处理 你好不同人...