-
基于 Amazon EKS 的 Stable Diffusion ComfyUI 部署方案
01 背景介绍 Stable Diffusion 作为当下最流行的开源 AI 图像生成模型在游戏行业有着广泛的应用实践，无论是 ToC 面向玩家的游戏社区场景，还是 ToB 面向游戏工作室的美术制作场景，都可以发挥很大的价值，如何更好地...
-
StarCoder 2：GitHub Copilot本地开源LLM替代方案
GitHub CoPilot拥有超过130万付费用户，部署在5万多个组织中，是世界上部署最广泛的人工智能开发工具。使用LLM进行编程辅助工作不仅提高了生产力，而且正在永久性地改变数字原住民开发软件的方式，我也是它的付费用户之一。 低代码/无代码平台将使应...
-
开源C++智能语音识别库whisper.cpp开发使用入门
whisper.cpp是一个C++编写的轻量级开源智能语音识别库，是基于openai的开源python智能语音模型whisper的移植版本，依赖项少，内存占用低，性能更优，方便作为依赖库集成的到应用程序中提供语音识别功能。 以下基于whisper.cpp...
-
前谷歌大佬离职创业，不到一年造出GPT3.5和Gemini Pro，惨痛忠告：GPU简直菜鸡，就像是买彩票！
作者 | Yi Tay 编译 | 云昭 出品 | 51CTO技术栈（微信号：blog51cto） 你敢相信吗？一位前谷歌大佬，离职成立公司，不到一年，从头训练出了“GPT3.5”/“Gemini Pro”，注意，后者是多模态大模型！ 本文主人公Y...
-
C# SwinV2 Stable Diffusion 提示词反推 Onnx Demo
目录 介绍 效果 模型信息 项目 代码 下载 C# SwinV2 Stable Diffusion 提示词反推 Onnx Demo 介绍 模型出处github地址：https://github.com/SmilingWolf/SW-C...
-
消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强
李开复旗下AI公司零一万物，又一位大模型选手登场： 90亿参数Yi-9B。 它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。 在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、De...
-
PyTorch 该怎么学？太简单了
挺多小伙伴问过PyTorch该怎么学，经过长期实践来看，初学者需要熟知的概念和用法真的不多，以下总结的简明指南一起看看吧！ 构建Tensor PyTorch 中的 Tensors 是多维数组，类似于 NumPy 的 ndarrays，但可以在 GPU...
-
「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
如何在不到一年的时间里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？ 很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提...
-
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
作者：汪诚愚（熊兮）、高一鸿（子洪）、黄俊（临在） Qwen1.5（通义千问1.5）是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版，该模型推出了多个规模，从0.5B到72B，满足不同的计算需求。此外，该系列模型还包括了Base...
-
discuz视频采集
文题 NewswH місті===nofollow响起来！” skepticalalena desktop恶臭 linked就可以直接ulosvmlinuxềmoverrides effektdevilfrank量价 Kerekori Article S...
-
金融股票AIGC工具，一句话画出精美股价市值对比图
财经自媒体工具，一句话画出对应公司市场大盘指数、股价、市值、PE对比图，网站地址，支持多种类型图表： DeepNLP AIGC Chart: Generate Professional Charts and Tables powered by Lar...
-
论坛安保三部曲：DISCUZ如何巧妙开启防采集功能
互联网的崛起不仅是时代的变革象征，也让资源共享变为常态化操作，方便多人也繁华多人，亦扫出了社会版本的职能之作-—众多数据中心与工作依赖并通过技术的支配出一份竭尽其妙来解决便宜运到符咒剪裁通过网络造就？——尴尬的简化舒洪流getNetwork Giantis...
-
向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。 不过最近，GPU 的地位也在经受挑战：一家名为 Groq 的初创公司开发出了一种新的 AI 处理器...
-
三足鼎立的开源大模型：Llama、Gemma和Mistral
关于Llama 3的最新消息，Meta计划在今年7月推出这一全新的开源大模型。Llama 3的最大版本预计将拥有超过1400亿个参数，这意味着它的性能将远超过前一代的Llama 2。至于Llama 3是否将具备多模态能力，目前尚未有确切的信息。 同时，谷...
-
老黄最新专访：芯片短缺难以结束，下个Transformer已经出现
英伟达的GPU正在吞噬这个世界。 科技公司对英伟达的超级计算GPU有着近乎无尽的需求。 不再是那个只为游戏显卡提供图形渲染服务的英伟达，现在的英伟达利用他的GPU开创了一个新时代： 人类能够与计算机对话，计算机能够回应人类。而最终，计算机甚至可能超越人类...
-
RNN效率媲美Transformer，谷歌新架构两连发：同等规模强于Mamba
这一次，谷歌 DeepMind 在基础模型方面又有了新动作。 我们知道，循环神经网络（RNN）在深度学习和自然语言处理研究的早期发挥了核心作用，并在许多应用中取得了实功，包括谷歌第一个端到端机器翻译系统。不过近年来，深度学习和 NLP 都以 Transf...
-
webassembly002 whisper.wasm wasm_eval 与js代码交互 js部分
html的js <script type="text/javascript" src="https://blog.csdn.net/ResumeProject/article/details/helpers.js"><...
-
DeepMind携Mamba华人作者推Transformer革命之作！性能暴涨媲美Llama 2，推理能效大幅碾压
Transformer又又又被挑战了！ 这次的挑战者来自大名鼎鼎的谷歌DeepMind，并且一口气推出了两种新架构，——Hawk和Griffin。 论文地址：https://arxiv.org/abs/2402.19427 这种将门控线性RNN与局部注...
-
从AI推理性能优化角度看LLaMA的模型结构和源码
本篇文章讲讲LLaMA的结构，已经有很多文章已经对LLaMA在一些结构上任务表现上做了一些解析，本文主要从优化的角度、实现kernel的角度解析一下LLaMA，读者事先对transformer的结构有基本认识最好。本文首发于我的公众号“AI不止算法”，文章...
-
大模型的未来：如何推动AIGC技术的进一步发展
1.背景介绍 人工智能(AI 和大数据技术的发展已经进入了一个新的高潮，尤其是自然语言处理(NLP 和计算机视觉(CV 等领域的突破性进展。随着大模型(such as GPT-3, DALL-E, and CLIP 的出现，人工智能生成(AIGC...
-
用code去探索理解Llama架构的简单又实用的方法
除了白月光我们也需要朱砂痣 我最近也在反思，可能有时候算法和论文也不是每个读者都爱看，我也会在今后的文章中加点code或者debug模型的内容，也许还有一些好玩的应用demo，会提升这部分在文章类型中的比例 今天带着大家通过代码...
-
LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是一个相当优秀的微调工具。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。 Dockerfile FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.0...
-
基于大型语言模型和向量数据库开发新闻推荐系统
译者 | 朱先忠 审校 | 重楼 近年来，随着诸如ChatGPT、Bard等生成式人工智能工具的发布，大型语言模型（LLM）在机器学习社区引起了全球热议。这些解决方案背后的核心思想之一是计算非结构化数据（如文本和图像）的数字表示，并找出这些表示之间的相似...
-
60行代码，从头开始构建GPT！最全实践指南来了
60行代码，从头开始构建GPT？ 最近，一位开发者做了一个实践指南，用Numpy代码从头开始实现GPT。 你还可以将 OpenAI发布的GPT-2模型权重加载到构建的GPT中，并生成一些文本。 话不多说，直接开始构建GPT。 什么是GPT？ GPT代...
-
【AIGC】AutoKeras 进行 RNN 循环神经网络训练
由于最近这些天都在人工审查之前的哪些问答数据，所以迟迟都没有更新 AutoKeras 的训练结果。现在那部分数据都已经整理好了，20w+ 的数据最后能够使用的高质量数据只剩下 2k+。这 2k+ 的数据已经经过数据校验并且对部分问题的提问方式和答案内容进行...
-
基本概念：什么是ChatGPT和AIGC
1.背景介绍 1. 背景介绍 自2012年的AlphaGo胜利以来，人工智能(AI 技术的进步速度逐年加快，尤其是自然语言处理(NLP 领域的突破性进展。ChatGPT和AIGC是近年来引起广泛关注的两个AI技术。本文将深入探讨这两个技术的核...
-
10｜AI连接外部资料库，让Llama Index带你阅读一本书
有不少人在使用 OpenAI 提供的 GPT 系列模型的时候，都反馈效果并不好。这些反馈中有一大类问题，是回答不了一些简单的问题。比如当我们用中文问 AI 一些事实性的问题，AI 很容易胡编乱造。而当你问它最近发生的新闻事件的时候，它就干脆告诉你它不知道...
-
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析
AIGC专栏9——Scalable Diffusion Models with Transformers （DiT）结构解析 学习前言 源码下载地址 网络构建 一、什么是Diffusion Transformer (DiT 二、DiT的组成...
-
了解一下CPU 、TPU、GPU、DPU、QPU
随着AI的火爆，CPU 、TPU、GPU、DPU、QPU这些缩略词整天在各种媒体里面飞来飞去。本文主要解释这些处理器，以及他们的优缺点。 CPU（中央处理器） CPU就像计算机的“大脑”。它能够处理计算机工作的所有基本任务，例如：运行程序、管理文件和执行...
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
Gartner：2024年全球AI PC和生成式AI智能手机出货量预计将达到2.95亿台
根据Gartner公司的最新预测，到2024年底，人工智能（AI）个人电脑（PC）和生成式人工智能（生成式AI）智能手机的全球出货量预计将从2023年的2900万台增长至2.95亿台。 根据Gartner的定义，AI PC是指配备了专用的AI加速器或核心...
-
huggingface学习|用dreambooth和lora对stable diffusion模型进行微调
目录 用dreambooth对stable-diffusion-v1-5模型进行微调 （一）模型下载和环境配置 （二）数据集准备 （三）模型微调 （四）运行微调后的模型 用lora对stable-diffusion-v1-5模型进行微调...
-
干货满满！大神Karpathy两小时AI大课文字版第一弹，全新工作流自动把视频转成文章
前段时间，AI大神Karpathy上线的AI大课，已经收获了全网15万次播放量。 当时还有网友表示，这2小时课程的含金量，相当于大学4年。 就在这几天，Karpathy又萌生了一个新的想法： 那便是，将2小时13分钟的「从头开始构建GPT分词器」的视频...
-
whisper.cpp安装配置
下载代码，代码地址：https://github.com/ggerganov/whisper.cpp 下载模型，现有模型如下，small 模型基本能达到日常的用途，建议下载 small 以上的。下载模型的指令： ./download-ggml-mode...
-
20240202在WIN10下部署faster-whisper
20240202在WIN10下部署faster-whisper 2024/2/2 12:15 前提条件，可以通过技术手段上外网！^_ 首先你要有一张NVIDIA的显卡，比如我用的PDD拼多多的二手GTX1080显卡。【并且极其可能是矿卡！】800￥ 2...
-
CUDA驱动深度学习发展 - 技术全解与实战
全面介绍CUDA与pytorch cuda实战 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收...
-
开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用
刚刚，谷歌杀入开源大模型。 开源领域大模型，迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 Gemma 官方页面：https://ai.goo...
-
谷歌最新开源的 Gemma 模型，秒杀 Llma-2！
Gemma 是什么 Gemma 是一个轻量级、最先进的开放式模型系列，采用了与创建 Gemini 模型相同的研究和技术。Gemma 由 Google DeepMind 和 Google 的其他团队共同开发，其灵感来源于双子座，名字反映了拉丁语 gemm...
-
世界模拟器才是AGI终局，12态势预测！首席专家万字长文专业解读Sora里程碑
这几天反复看Sora的技术报告，以及各方对Sora的技术分析。 基本三个角度：惊呼强大功能，分析Sora（实现）大法，评估巨大冲击。 冲击方面，主要关注点在于对影视、短视频、娱乐等领域的影响。 但是，Sora改变AI认知方式，开启走向「世界模拟器」的史诗...
-
使用AIGC技术提高AI系统效率
1.背景介绍 在AI领域，提高系统效率是一个重要的目标。一种有效的方法是使用人工智能生成(AIGC 技术。在本文中，我们将探讨AIGC技术的背景、核心概念、算法原理、最佳实践、应用场景、工具和资源推荐，以及未来发展趋势和挑战。 1. 背景介绍...
-
运行LIama2得8400万元！最快AI推理芯片成本推算引热议
想实现史上最快大模型推理，得要1171万美元（8410万元）？？？ 同等项目下，使用英伟达GPU成本只需30万美元…… 关于最强AI芯片易主Groq，可能得让子弹再飞一会儿了。 这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
基于LLaMA-Factory的微调记录
文章目录 数据模型准备 基于网页的简单微调 基于网页的简单评测 基于网页的简单聊天 基于网页的模型合并 微调问题测试与解决 问题测试 模板修改 强化训练 持续训练 单数据集训练 微调总结 LLaMA-Factory是一个非常好用的无代...
-
10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。 但自本周起，这种观念已成为历史。 有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GP...
-
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
太快了太快了。 一夜间，大模型生成已经没什么延迟了……来感受下这速度。 ，时长00:06 眼花缭乱了吧，生成速度已经接近每秒500 tokens。 还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。 （这里面还有个熟悉的身影：Lepton...
-
比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
【新智元导读】卷疯了!世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。 一觉醒来，每秒能输出500个token的Groq模型刷屏全网。 堪称是「世界上速度最快的LLM」! 相比之下，ChatG...
-
大模型最快推理芯片一夜易主 Groq每秒可达500 tokens
近期，一家名为Groq的初创公司推出了一款大模型推理芯片，其推理速度达到了每秒500tokens的惊人水平，轻松颠覆了传统GPU的性能。Groq的团队由谷歌TPU原班人马组成，他们自主研发的芯片不仅速度快，而且成本低廉，性价比高，成为了大模型推理加速的新宠...
-
Groq大模型推理芯片每秒500tokens超越GPU，喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan Ross，曾设计实现第一代TPU芯片的核心元件。 Groq采...
-
GitHub热榜第一：百万token上下文，还能生成视频，UC伯克利出品
今日GitHub热榜榜首，是最新的开源世界模型。 上下文窗口长度达到了100万token，持平了谷歌同时推出的王炸Gemini 1.5，伯克利出品。 强大的模型，命名也是简单粗暴——没有任何额外点缀，直接就叫LargeWorldModel（LWM）。...
-
AIGC专题：AIGC产业链近况更新
今天分享的是AIGC系列深度研究报告：《AIGC专题：AIGC产业链近况更新》。 （报告出品方：国联证券） 报告共计：19页 AIGC 正反馈持续加强 依托于强大的算力基础设施和海量的通用数据，经过训练和不断调优打造出了 AIGC 大模型，到中...