-
字节万卡集群技术细节公开：2天搞定GPT-3训练，算力利用率超英伟达Megatron-LM
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。 来自字节和北大的一篇新论文在此时吸引关注： 文章披露，字节搭建起的万卡集群，能在1.75天内完成GPT-3规模模型（175B）的训练。 具体来说，字节提出了一个名为MegaScale的生产系...
-
Stable Diffusion——见识一下正在兴起的AIGC产业！
今天再水一天，转发一篇分享文 明后天我会发布关于个人靶场搭建和内网穿透的内容，大家可以关注一下 原文地址：Stable Diffusion——见识一下正在兴起的AIGC产业！ – Pleasure的博客 下面是正文部分： 前言 你或许曾在...
-
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境 1. 问题与需求 近段时间想学习一下大语言模型的本地化部署与应用。首先遇到的就是部署硬件环境的问题。我自己的笔记本是一台 MacBook Pro M3，没...
-
在autodl搭建stable-diffusion-webui+sadTalker
本文介绍在autodl.com搭建gpu服务器，实现stable-diffusion-webui+sadTalker功能，图片+音频 可生成视频。 autodl租GPU 自己本地部署SD环境会遇到各种问题，网络问题（比如...
-
Think2Drive：首个用于自动驾驶的基于模型的RL方法（上海交大）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 在CARLA v2中以专家级的熟练程度运行。 题目：Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World...
-
基于神经网络的偏微分方程求解器新突破：北大&字节研究成果入选Nature子刊
近年来，基于神经网络的偏微分方程求解器在各领域均得到了广泛关注。其中，量子变分蒙特卡洛方法（NNVMC）在量子化学领域异军突起，对于一系列问题的解决展现出超越传统方法的精确度 [1, 2, 3, 4]。北京大学与字节跳动研究部门 ByteDance Re...
-
想训练类Sora模型吗？尤洋团队OpenDiT实现80%加速
作为 2024 开年王炸，Sora 的出现树立了一个全新的追赶目标，每个文生视频的研究者都想在最短的时间内复现 Sora 的效果。 根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Tr...
-
用GGUF和Llama .cpp量化Llama模型
用GGUF和Llama .cpp量化Llama模型 什么是GGML 如何用GGML量化llm 使用GGML进行量化 NF4 vs. GGML vs. GPTQ 结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要...
-
英伟达发布Nemotron-4:150亿参数通用大模型，目标单张A100/H100可跑
英伟达最新推出的Nemotron-4语言模型引起广泛关注。这一通用大模型拥有150亿参数，经过在8T token上的训练，在英语、多语言和编码任务中表现出色。具体而言，Nemotron-4在7个评估基准上的15B模型表现优异，超越同等参数规模的模型，甚至击...
-
【直播预告】程序员逆袭CEO分几步？
2024年，是充满未知和挑战的一年。AI 的发展日新月异，已经有人用它来写代码了，啥时候会替代程序员，可真不好说。另一方面，程序员扎堆的 IT 互联网行业却进入了平台期甚至下行期，降本增效成为行业主流，裁员缩招的声音不绝于耳。在这种前有狼后有虎的年头，作为...
-
研究人员开发AI攻击方法BEAST：可在一分钟内绕过LLM防护栏
研究人员在美国马里兰大学成功开发了一种高效的方法，可以在一分钟内诱导大型语言模型（LLM）产生有害反应，他们将这一技术命名为BEAST(BEAm Search-based adversarial aTtack 。BEAST技术利用Nvidia RTX A6...
-
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8T token上完成了训练。 值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。 论文地址：https://arxiv.org/abs/2402.1681...
-
微软6页论文爆火：三进制LLM，真香！
这就是由微软和中国中科院大学在最新一项研究中所提出的结论—— 所有的LLM，都将是1.58 bit的。 具体而言，这项研究提出的方法叫做BitNet b1.58，可以说是从大语言模型“根儿”上的参数下手。 将传统以16位浮点数（如FP16或BF16）形...
-
解锁SLAM新纪元！基于NeRF和3D GS方法综述
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在过去的二十年里，SLAM领域的研究经历了重大的发展，突出了其在实现未知环境的自主探索方面的关键作用。这种演变从手工制作的方法到深度学习时代，再到最近专注于神经辐射场...
-
如何免费使用Lightning AI Studio
译者 | 布加迪 审校 | 重楼 我们在本文中将学习一个新的云IDE，它既免费又易于使用。它是Google Colab的升级版，允许你保存项目、使用必要的插件，并在GPU上免费运行生成式模型。 Lightning AI Studio简介 Light...
-
windows 下跑起大模型（llama）操作笔记
原贴地址：https://testerhome.com/topics/39091 前言 国内访问 chatgpt 太麻烦了，还是本地自己搭一个比较快，也方便后续修改微调啥的。 之前 llama 刚出来的时候在 mac 上试了下，也在 windows...
-
老黄祭出全新RTX 500 GPU，AIGC性能狂飙14倍！AI应用的门槛彻底被打下来了
在巴塞罗那举行的世界移动大会（MWC 2024）上，英伟达发布了最新款的入门级移动版工作站GPU，RTX 500 Ada和RTX 1000 Ada。 这两款入门级移动工作站GPU与之前发布的RTX 2000、3000、3500、4000和5000一起，构...
-
生成式AI能拯救电信行业吗？
在日前正在举办的MWC 2024大会上，英伟达发布了一系列公告，其中包括与ARM、ServiceNow和软银的合作，成立AI-RAN联盟，以及与挪威电信达成一项重大协议，该协议将使挪威电信获得英伟达最新的硬件和企业AI软件，以支持其运营中采用的许多人工...
-
了解一下CPU 、TPU、GPU、DPU、QPU
随着AI的火爆，CPU 、TPU、GPU、DPU、QPU这些缩略词整天在各种媒体里面飞来飞去。本文主要解释这些处理器，以及他们的优缺点。 CPU（中央处理器） CPU就像计算机的“大脑”。它能够处理计算机工作的所有基本任务，例如：运行程序、管理文件和执行...
-
Sora阴影之下，焦虑的中国AI
“跟不上的可能就要被淘汰了。”看到Sora演示视频后，从业10多年的动画制作师黄斌得出了这样的判断。 随着影视业失业潮呼声渐起，Sora的诞生也给中国AI行业带来了巨大的焦虑。 360集团创始人周鸿祎认为，Sora模型展现出了超越当前中国同类产品的性能...
-
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。...
-
真快！几分钟就把视频语音识别为文本了，不到10行代码
大家好，我是风筝 将音视频文件中的音频转为文字内容，这个需求放到两年前还不大好实现，但是放到今天，几分钟就解决了。 听说有的公司为了抓取训练数据，已经把抖音、快手这些短视频平台上的视频扒了个遍，然后将其中的音频提取成文本，用作大数据模型的训练语料。 如果...
-
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。 他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Paramet...
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
MyShell AI开发高质量语音合成工具MeloTTS 支持中英混合发音
MeloTTS是由MyShell AI开发的一个高质量的多语言文本到语音（TTS）库。这个库支持英语、西班牙语、法语、中文、日语和韩语等多种语言，使其在全球范围内具有广泛的应用价值。 项目地址:https://top.aibase.com/tool/me...
-
高通推出AI Hub，方便开发者在设备上访问和下载AI模型
随着在个人设备上的设备 AI 变得更加普及。在世界移动通信大会上，高通推出了一款工具AI Hub，简化了开发人员如何将 AI 模型直接下载到测试设备上的过程。 新的高通 AI Hub 包含了一个库，其中包含超过75个生成式 AI 模型，开发人员可以轻松地...
-
高性能 LLM 推理框架的设计与实现
一、大语言模型推理概要介绍 与传统的 CNN 模型推理不同，大语言模型的推理通常会分成 prefill 和 decoding 两个阶段。每一个请求发起后产生的推理过程都会先经历一个 Prefill 过程，prefill 过程会计算用户所有的输入，并生...
-
到2026年，人工智能和加密货币将使数据中心的能源消耗翻倍
根据国际能源署(IEA 最近的一份报告，到2026年，数据中心的能源使用量有可能翻倍。 IEC预测，到2026年，数据中心的总耗电量将达到1000太瓦时以上。 报告称：“这一需求大致相当于日本的用电量。”因此，更新的法规和技术改进，包括效率方面的改进，...
-
【AI】Chinese-LLaMA-Alpaca-2 1.3B 7B 13B llama.cpp 量化方法选择及推理结果测试 x86_64 RTX 2060 6G 生成程序源码测试
1.3B Q4_0 (很快，没用 llm_load_print_meta: model type = ?B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta:...
-
首席分析师揭秘爆火Groq，每小时要烧168美元！10倍H100拥有成本，老黄笑而不语
最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。 他们提供的运行Mistral Mixtral 8x7b的API演示，让大部分习惯了其他LLM「娓娓道来」的用户直呼，简直是魔法！ Groq在处理...
-
人工智能和数据中心：为什么人工智能如此需要资源
到2023年底，对生成式人工智能将需要多少能源的任何预测都是不准确的。例如，头条新闻倾向于猜测“人工智能需要5倍、10倍、30倍的电力”和“足够运行10万户家庭的电力”等。与此同时，数据中心新闻等专业出版物的报道称，每机架的功率密度将上升到50kW或1...
-
AI崛起加剧数据中心能源消耗，谷歌新技术或帮助减排
2月26日消息，科技巨头正竞相加紧努力拆除被称为“碳定时炸弹”的隐患，随着人工智能（AI）技术的兴起，它们在全球建立的数据中心的能源消耗也急剧上升，进而导致的碳排放问题日渐严重。 因此，谷歌引领的一项创新技术逐步受到重视：该技术通过软件在全球太阳能和风...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
Stable Diffusion——stable diffusion基础原理详解与安装秋叶整合包进行出图测试
前言 在2022年，人工智能创作内容（AIGC）成为了AI领域的热门话题之一。在ChatGPT问世之前，AI绘画以其独特的创意和便捷的创作工具迅速走红，引起了广泛关注。随着一系列以Stable Diffusion、Midjourney、NovelAI等...
-
Stable Diffusion使用教程【InsCode Stable Diffusion美图活动一期】_inscode stable diffusion导入模型
手把手教你入门绘图超强的AI绘画，用户只需要输入一段图片的文字描述，即可生成精美的绘画。给大家带来了全新保姆级教程资料包 （文末可获取） 记录一下如何使用 InsCode Stable Diffusion 进行 AI 绘图以及使用感受。 一、背景介绍...
-
AI语音识别模块--whisper模块
1.下载 ffmpeg，挑一个自己电脑系统的版本，下载，如我win64： 地址： Releases · BtbN/FFmpeg-Builds · GitHub 下载压缩包zip，到·本地 解压安装，其实无需安装，只需把对应的目录下的bin，...
-
一夜涨出1个可口可乐，英伟达无愧为AI时代的领航者
地球上最重要的一支股票——英伟达。 想象一下，如果在十年之前，你手里有1000美元，你会选择投资什么呢? 老牌媒体CNBC给出了最新的回答，那就是去买英伟达股票。正如AJ Bell投资总监说的那样，「在十九世纪中期的淘金热中赚到最多钱的人是那些提供工具的人...
-
CUDA驱动深度学习发展 - 技术全解与实战
全面介绍CUDA与pytorch cuda实战 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收...
-
WhisperFusion：具有超低延迟无缝对话功能的AI系统
WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建，在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM 。 LLM 和 Whisper 都经过优化，可作为 TensorRT 引擎高效运...
-
一夜暴涨2770亿，英伟达市值逼近2万亿，跻身全球第四！61岁黄仁勋身价近700亿美元
财报公布后，英伟达单日市值增加2770亿美元，创历史新高！ 而且，还创下了华尔街史上最大单日涨幅里程碑。 有网友表示，「英伟达一天的涨幅，就超过了所有中国AI创业公司的估值总和。。。」 要说原由，主要还是第四季度财报公布，英伟达用了3个「破记录」做了...
-
ChatGPT突然疯了，意外输出震惊网友！OpenAI官方回应：token预测是根源
ChatGPT突然疯了！失去理智！精神错乱！ ——一大批ChatGPT用户炸了锅。 周二，「ChatGPT发疯」各种讨论话题纷纷刷榜Reddit，HN等各大社交平台。 网友表示，「我收到了ChatGPT有史以来最诡异的回复」。 随后，OpenAI...
-
Stable Diffusion本地Docker快速部署
docker拉取腾讯云镜像 sudo docker pull gpulab.tencentcloudcr.com/ai/stable-diffusion:1.0.8 启动容器并打印日志 sudo docker run -itd --gpus=a...
-
EfficientViT-SAM：精度不变原地起飞！
作者提出了EfficientViT-SAM，这是一系列加速的SAM模型。在保留SAM轻量级的提示编码器和 Mask 解码器的同时，作者用EfficientViT替换了沉重的图像编码器。在训练方面，首先从SAM-ViT-H图像编码器向EfficientV...
-
保姆级amd显卡win11搭建stable diffusion教程，GPU运算，而不是CPU运算！！！
1.安装Git 2.安装python python版本一定要是3.10.6 如果是其他版本，请卸载后再重新安装此版本 3.git代理配置 此步骤主要是解决拉github源码慢的问题，如果有vpn客户端的同学，记得要单独再配置下git的代理配置...
-
LLaMA 2 和 QianWen-14B
阿里云通义千问14B模型开源！性能超越Llama2等同等尺寸模型 - 科技新闻 - EDA365电子论坛网 LLaMA 2 的硬件要求： LLaMA 2 系列模型有不同的参数量版本，如7B、13B和70B等。对于不同大小的模型，其硬件需求也有所不同。以...
-
《AI绘画从入门到精通》专栏总目录
❤️ 专栏名称：《AI绘画从入门到精通》 🌸 内容介绍：Stable Diffusion 基础教程、ControlNet 控制网络、Stable Diffusion 综合案例、Stable Diffusion 模型分享、模型训练、Stable Diffus...
-
需求火爆 黄仁勋：AI芯片供不应求状况将贯穿全年
快科技2月22日消息，英伟达今天发布2024财年第四财季及全年财报后，英伟达创始人、总裁兼首席执行官黄仁勋在回答分析师提问时表示，AI芯片供不应求的状况将贯穿全年。 黄仁勋称，总的来说我们的供应正在改善，供应链伙伴对英伟达的支持非常大，从晶圆，包装，存储，...
-
谷歌开源Gemma，为端侧AI浇了桶油
2月21日，谷歌正式对外发布开源大模型Gemma。 这距离谷歌上一次大模型Gemini 1.5的发布，还不到一周的时间，事关大模型的竞争愈演愈烈。 2月15日，OpenAI发布Sora，Sora文生视频的能力，再度震惊整个行业。 彼时，就连此前在文生视...
-
Sora送上“泼天富贵”，AI基础设施：这次轮到我了！
春节期间，OpenAI的最新技术成果——文生视频模型Sora惊艳登场，令海内外的AI从业者、投资人彻夜难眠。 Sora大模型可以让用户仅通过输入一个句子，就可以生成与好莱坞画面相媲美的视频，且长度最多可达1分钟，让人深感震撼。 对于这颗“深水炸弹”，众...
-
ChatGPT发癫已读乱回，网友：“高速运转的机械”AI版？
就在所有目光集中到Sora的时候，ChatGPT开始演我上班状态—— 疯了！ 症状包括但不限于：多语言无规律猛地切换、反复自我纠正、一句话叨叨叨叨叨叨半天。 甚至仿佛是ChatGPT得了失语症，有些回答每一句都是带情绪的词不达意。 总之，主打的就是一个已...