-
llama3.cuda: 纯C/CUDA实现的Llama 3模型使用教程
llama3.cuda: 纯C/CUDA实现的Llama 3模型使用教程 llama3.cudallama3.cuda is a pure C/CUDA implementation for Llama 3 model.项目地址:https://git...
-
大模型之使用PyTorch编写Meta的Llama 3实际功能代码（六）
LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （一） 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （二） 基于 LlaMA 3 + LangGraph 在w...
-
探索 Stable Diffusion Portable：轻量级的扩散模型实现
探索 Stable Diffusion Portable：轻量级的扩散模型实现 在AI领域，生成对抗网络（GANs）和扩散模型逐渐成为创造逼真图像的重要工具。其中， 是一个值得我们关注的开源项目，它提供了一个轻量化且易于部署的扩散模型实现。本文将深入解析...
-
探索高效能的CPU版语言模型 —— 深入解读LLaMa CPU Fork
探索高效能的CPU版语言模型 —— 深入解读LLaMa CPU Fork llama-cpu项目地址:https://gitcode.com/gh_mirrors/ll/llama-cpu 在人工智能的广阔领域中，语言模型的进步一直是推动技术前沿的...
-
探索音频转文字的高效之道：whisper-rs项目解析与应用
探索音频转文字的高效之道：whisper-rs项目解析与应用 whisper-rsRust bindings to https://github.com/ggerganov/whisper.cpp项目地址:https://gitcode.com/gh_...
-
使用Faster Whisper：提升你的音频处理效率和质量
使用Faster Whisper：提升你的音频处理效率和质量 faster-whisper项目地址:https://gitcode.com/gh_mirrors/fas/faster-whisper 该项目，，是一个开源的Python库，专为优化对...
-
PHP性能探讨 ai写作
PHP性能探讨 一、引言：PHP性能的现状 PHP，作为一种广泛应用于Web开发的脚本语言，已经走过了数十年的历程。在这个过程中，PHP的性能一直是人们关注的焦点。那么问题就是，关于PHP性能的评价却众说纷纭，既有赞誉之声，也不乏批评之语。本文旨在...
-
政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署ComfyUI：功能最强大、模块化程度最高的Stable Diffusion图形用户界面和后台
目录 ComfyUI的特性介绍 开始安装 做点准备工作 在Conda虚拟环境中进行 依赖项的安装 运行 政安晨的个人主页：政安晨 欢迎 ?点赞✍评论⭐收藏 收录专栏: 零基础玩转各类开源AI项目 希望政安晨的博客能够对...
-
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM 大型语言模型 (LLM 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存有限的 GPU...
-
【推理优化】超详细！AIGC面试系列 大模型推理系列(2)
本期问题聚焦于大模型的推理优化技术 本期问题快览 有哪些常见的大模型推理优化技术 介绍下通过流水线处理技术来加速大模型推理方案 介绍下并行计算技术来加速大模型推理的方案 有哪些通过硬件来加速大模型推理的方式？ 模型量化是如何加速大模型推理的？...
-
文心一言 VS 讯飞星火 VS chatgpt （276）-- 算法导论20.3 3题
三、写出创建空 van Emde Boas 树过程的伪代码。如果要写代码，请用go语言。 文心一言： 首先，我们来讨论一下van Emde Boas树的伪代码，然后再给出Go语言的实现。 伪代码 Van Emde Boas树通常用于支持在[0,...
-
【多线程】进程与线程
???来都来了，不妨点个关注叭！?博客主页：欢迎各位大佬!? 文章目录 1. 操作系统 2. 进程 2.1 进程是什么 2.2 进程管理 2.3 进程调度 2.3 内存管理 2.4 进程间通信 3. 线程 3.1 线程是什么 3...
-
Mojo崛起：AI-first 的编程语言能否成为新流行？
作者 | James Thomason 编译 | 伊风 出品 | 51CTO技术栈（微信号：blog51cto） 眨眼之间，你可能会错过又一种编程语言的发明。 有个笑话说，程序员花费20%的时间编写代码，80%的时间决定使用什么语言。 事实上，编程语言如...
-
AI手机，活成产业“摇钱树”
早几年出现的折叠屏没能拯救颓势的手机市场，直接证据就是去年全球出货量依旧拉胯，同比下滑3.2%至11.7亿部，为近十年来最低。 好在Q4出现了些许回暖，全球和中国市场分别有8.5%和1.2%的同比增幅，尤其是后者，在连续同比下降10个季度后首次转正。 很难...
-
Linux之父讽刺AI炒作：很搞笑，大概我也会被大模型取代
几天前，由 Linux 基金会主办的北美开源峰会（Open Source Summit North America）在华盛顿西雅图闭幕。 会上，Linux 之父 Linus Torvalds 与其好友、Verizon 开源项目办公室负责人 Dirk Ho...
-
【热门话题】Stable Diffusion：本地部署教程
?个人主页: 鑫宝Code?热门专栏: 闲话杂谈｜ 炫酷HTML | JavaScript基础 ?个人格言: "如无必要，勿增实体" 文章目录 Stable Diffusion：本地部署教程 一、引言 二、环境准备 1...
-
开源大模型AI代理操作系统：像Windos一样，操控AI代理
本文经AIGC开放社区 授权转载，转载请联系出处。 想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 去年，AutoGPT的出现让我们见识到了AI代理强大的自动化能力，并开创了一个全新...
-
[AIGC] 利用 chatgpt 深入理解 Java 虚拟机（JVM）
Java 虚拟机（JVM）是 Java 编程语言的核心运行环境，它负责解释和执行 Java 字节码。它是 Java 程序能够跨平台运行的关键，因为不同的操作系统和硬件平台都有自己的指令集和体系结构，而 JVM 则提供了一个统一的运行环境，使得 Java 程...
-
PHP爬虫时代的终结：转向更高效的爬虫技术
在互联网发展的早期阶段，PHP作为一种通用脚本语言，因其简单易学、开发迅速等特点，被广泛应用于网页开发、数据处理以及网络爬虫等领域。然而，随着大数据时代的到来和网页结构的日益复杂，PHP在爬虫方面的局限性逐渐显现出来。本文旨在探讨为什么不再使用PHP做爬虫...
-
[AIGC大数据基础] Flink: 大数据流处理的未来
Flink 是一个分布式流处理引擎，它被广泛应用于大数据领域，具有高效、可扩展和容错的特性。它是由 Apache 软件基金会开发和维护的开源项目，并且在业界中受到了广泛认可和使用。 文章目录 什么是 Flink Flink 的特点...
-
[AIGC] 深入理解 Java 虚拟机（JVM）的垃圾回收
深入理解 Java 虚拟机（JVM）的垃圾回收 一、是什么 Java 虚拟机（JVM）的垃圾回收（Garbage Collection）是一种自动内存管理机制，用于释放不再使用的对象所占用的内存空间。垃圾回收的目标是回收那些不再被程序引用的对象，...
-
GPT-4绝对性能暴涨74.4%！UIUC苹果华人团队提出CodeAct，用Python代码统一LLM智能体行动
一直以来，LLM智能体被众多业界AI大佬看好，甚至有望成为将人类从琐碎工作中解放出来的利器。 但是，它们该如何与世界进行最佳互动? 最近，来自UIUC和苹果的华人研究员，提出了一种全新的智能体框架——CodeAct。 它通过采用可执行的Python代码，来...
-
极限挑战：使用 Go 打造百亿级文件系统的实践之旅
JuiceFS 企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。 构建这个大规模、高性能的文件系统面临众多复杂性挑战，其中最为关键的环节之一就是元数据引擎的设计。JuiceFS 企业版于 2017 年上线，经过几年的...
-
AI 如何精准生成令人惊叹的代码流程图
大家好，我是木川 没有 AI 的时候，我们阅读完代码，然后根据自己的理解，手动通过 XMind 绘制思维导图，或者通过 draw.io 绘制流程图，至少需要 60 分钟 有了 AI，其实可以直接将代码转换为比较准确的代码可视化图形，省掉自己阅读代码的时...
-
十分钟读完「降低 LLaMA 模型微调内存占用的QLoRA」论文
QLoRA 提出内存高效的微调方法！降低 LLaMA 模型微调内存占用，仅需数小时追赶 ChatGPT 引言：大模型微调的新时代 随着人工智能技术的飞速发展，大型语言模型（Large Language Models，LLMs）已成为自然语言处理领域的重...
-
Llama-2 推理和微调的硬件要求总结：RTX 3080 就可以微调最小模型
大语言模型微调是指对已经预训练的大型语言模型（例如Llama-2，Falcon等）进行额外的训练，以使其适应特定任务或领域的需求。微调通常需要大量的计算资源，但是通过量化和Lora等方法，我们也可以在消费级的GPU上来微调测试，但是消费级GPU也无法承载比...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）
目录 一、clone仓库 二、数据集下载与处理 1、数据集下载 2、数据集标记化（耗时较长） 三、修改配置 四、开始训练 五、模型推理 六、train.py训练代码讲解 1、导包 2、定义模型训练参数与相关设置 3、加载模型配置 4、迭代...
-
亚马逊云科技Amazon CodeWhisperer 极客之选！
使用了一段时间的Amazon CodeWhisperer，直接作为插件搭配VS Code，安装很方便。 在平常写代码的时候使用率很高，个人使用过最近的语言大模型，感觉这个CodeWhisperer像是专门是在代码数据上训练的模型，但是又不止是会写代码，还会...
-
处理海量数据：Java与MySQL大数据处理的技巧
处理海量数据是现代应用程序中常见的挑战之一，尤其是在Java与MySQL这样的技术栈中。下面将介绍一些处理海量数据的技巧和策略，并讨论如何通过Java与MySQL实现高效的大数据处理。 一、基础概念和挑战 处理海量数据涉及到大量的存储和计算资源，因此需要...
-
S-LoRA：一个GPU运行数千大模型成为可能
一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用...
-
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
大型语言模型 (LLM 是强大的工具，可以为各种任务和领域生成自然语言文本。 最先进的LLM之一是 LLaMA（大型语言模型 Meta AI），这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型 要在家运行 L...
-
基于Hi3559AV100的视频采集整体设计
下面给出基于Hi3559AV100的视频采集整体设计,具体设计将在后续给出： 图形采集端整体设计 Hi3559AV100软件程序按结构划分可分为4层，第一层是硬件驱动层，第二层是操作系统层，第三层是媒体软件处理平台（MPP，MediaPr...
-
共享内存原理与VCS监控采集实战
本文首发于 vivo互联网技术 微信公众号链接：https://mp.weixin.qq.com/s/PolfIcUpMznm7DTlyCHg2g作者：cluo 一、前言 共享内存广泛用于Redis，Kafka，RabbitMQ 等高性能组件中...
-
小米申请HYPEROS AI商标 此前发布澎湃OS系统
天眼查App显示，近日，小米科技有限责任公司申请注册“HYPEROS AI”“HYPEROS CONNECT”“XIAOMI PENGPAI”等商标，国际分类涉及网站服务、科学仪器、广告销售等，当前商标状态为等待实质审查。 小米澎湃 OS 是小米旗下的全...
-
雷军：小米澎湃OS底层全面重构 AI赋能整个生态
刚刚，雷军披露了更多有关小米澎湃OS的相关信息。 雷军表示，小米澎湃OS是一个超级庞大的工程体系。从架构设计之初，就明确了四个目标:第一，实现单端性能表现最强 ;第二，AI赋能，成为整个生态的“智能大脑”，能够为用户提供主动服务;第三，更加便捷高效的连接;...