-
打造「专属arXiv」！德国高校顶级视觉团队推出「论文定制化」推荐系统，免费开放
10毫秒生成一张图像，1分钟6000张图像，这是什么概念？ 下图中，就可以深刻感受到AI的超能力。 图片 甚至，当你在二次元小姐姐图片生成的提示中，不断加入新的元素，各种风格的图片更迭也是瞬间闪过。 图片 如此惊人的图片实时生成速度，便是来自UC伯克利、...
-
单张4090，1秒100张二次元小姐姐！UC伯克利等新模型霸榜Github，吞吐量提升近60倍
10毫秒生成一张图像，1分钟6000张图像，这是什么概念？ 下图中，就可以深刻感受到AI的超能力。 甚至，当你在二次元小姐姐图片生成的提示中，不断加入新的元素，各种风格的图片更迭也是瞬间闪过。 如此惊人的图片实时生成速度，便是来自UC伯克利、日本筑波大学...
-
推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀
像Pika一样的神级创业故事又要再次上演了？ 两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。 在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了E...
-
使用Llama.cpp在CPU上快速的运行LLM
大型语言模型(llm 正变得越来越流行，但是它需要很多的资源，尤其时GPU。在这篇文章中，我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。 大型语言模型(llm 正变得越来越流行，但是它们的运行在计算上是非常消耗资...
-
谷歌发布Cloud TPU v5p和AI超级计算机:人工智能处理能力飞跃
谷歌在推出其张量处理单元Cloud TPU v5p和具有突破性的超级计算机架构AI Hypercomputer时掀起了轩然大波。这些创新的发布，再加上资源管理工具Dynamic Workload Scheduler，标志着在处理组织的人工智能任务方面迈出了...
-
专用于手机、笔记本，Stability.ai开源ChatGPT基因的大模型
12月8日，著名开源生成式AI平台stability.ai在官网开源了，30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备，主打参数小、性能强、算力消耗低的特点，可自动生成文本、总结摘要等，可与70亿、...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
Stable Diffusion WebUI使用AnimateDiff插件生成动画
AnimateDiff 可以针对各个模型生成的图片，一键生成对应的动图。 配置要求 GPU显存建议12G以上，在xformers或者sdp优化下显存要求至少6G以上。 要开启sdp优化，在启动参数加上--sdp-no-mem-attention 实...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
使用conda 创建虚拟环境，安装StableDiffusion WebUI
目录 安装conda 配置 使用清华大学的镜像源 如果需要还原 创建环境用来安装StableDiffusion WebUI 激活环境 关闭环境 导出环境 导入环境 安装conda 在这里（https://docs.cond...
-
为什么多数情况下GPT-3.5比LLaMA 2更便宜？
本文旨在为用户选择合适的开源或闭源语言模型提供指导，以便在不同任务需求下获得更高的性价比。 通过测试比较 LLaMA-2 和 GPT-3.5 的成本和时延，本文作者分别计算了二者的 1000 词元成本，证明在大多数情况下，选择 GPT...
-
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm 已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工...
-
笔记本外接显卡坞死机/键盘鼠标卡死问题的解决
我的笔记本尝试ai绘画当然是不行的，所以用雷电3显卡坞外接显卡使用。但是使用雷电3显卡坞后，经常性的死机。玩游戏的时候不会，表明外接显卡在工作时就不会导致死机。 你可以先借鉴下面的简单方法1：解决外接显卡扩展坞鼠标键盘卡死的问题 - 知乎 或方法2：用...
-
处理海量数据：Java与MySQL大数据处理的技巧
处理海量数据是现代应用程序中常见的挑战之一，尤其是在Java与MySQL这样的技术栈中。下面将介绍一些处理海量数据的技巧和策略，并讨论如何通过Java与MySQL实现高效的大数据处理。 一、基础概念和挑战 处理海量数据涉及到大量的存储和计算资源，因此需要...
-
Llama-Factory的baichuan2微调
Llama-Factory：https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作...
-
Stable Diffusion + EbSynth + ControlNet 解决生成视频闪烁
一、安装 1.1、安装ffmpeg 下载地址： 解压，配置环境变量 E:\AI\ffmpeg\bin 检查是否安装成功 1.2、安装SD的 EbSynth 插件 插件地址 https://github.com/s9roll7/ebsynth_...
-
比「让我们一步一步思考」这句咒语还管用，提示工程正在被改进
大型语言模型（LLM）已经是许多自然语言处理任务的强大工具，只要能给出正确的提示。然而，由于模型的敏感性，找到最优提示通常需要进行大量手动尝试和试错努力。此外，一旦将初始提示部署到生产环境中，可能会出现意想不到的边缘情况，需要更多轮的手动调整来进一步完善...
-
使用QLoRA对Llama 2进行微调的详细笔记
使用QLoRA对Llama 2进行微调是我们常用的一个方法，但是在微调时会遇到各种各样的问题，所以在本文中，将尝试以详细注释的方式给出一些常见问题的答案。这些问题是特定于代码的，大多数注释都是针对所涉及的开源库以及所使用的方法和类的问题。 导入库...
-
这项AI研究引入 Atom：一种低位量化技术，可实现高效、准确LLM)服务
大型语言模型（LLM）是人工智能领域最新的引入，已经席卷全球。这些模型以其令人难以置信的能力，被人们广泛使用，无论是研究人员、科学家还是学生。凭借其仿人潜力回答问题、生成内容、概括文本、完成代码等方面，这些模型已经走过了很长的路程。 LLM 在情感分析、智...
-
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation
LLMs之LLaMA-2：源码解读之所有py文件(包括example_text_completion.py/example_chat_completion.py+model.py/generation.py/tokenizer.py 目录 一、l...
-
教你如何使用PyTorch解决多分类问题
本文分享自华为云社区《使用PyTorch解决多分类问题：构建、训练和评估深度学习模型》，作者： 小馒头学Python。 引言 当处理多分类问题时，PyTorch是一种非常有用的深度学习框架。在这篇博客中，我们将讨论如何使用PyTorch来解决多分类...
-
PyTorch团队重写「分割一切」模型，比原始实现快八倍
从年初到现在，生成式 AI 发展迅猛。但很多时候，我们又不得不面临一个难题：如何加快生成式 AI 的训练、推理等，尤其是在使用 PyTorch 的情况下。 本文 PyTorch 团队的研究者为我们提供了一个解决方案。文章重点介绍了如何使用纯原生 PyTo...
-
Upscayl：开源AI图像放大增强工具 | AIGC实践
连续写了两篇比较理论的文章——一篇行业思考，一篇技术讨论——可能劝退了很多不明真相的人民群众，一看后台数据，好么…… 马上周末了，今天分享一篇轻松小文，介绍一款开源免费、成熟度高、操作简单、效果显著的开源AI图像放大增强工具——Upscayl。...
-
腾讯云“AI超级底座”专场将亮相WOT大会，技术创新引领AI基础设施新篇章
近两年来，国内热门的技术话题中，“百模大战”赫赫有名。自2020年起，中国进入了大模型加速发展期。据科技部新一代人工智能发展研究中心发布的报告显示，目前中国已发布10亿参数规模以上的大模型达79个。众多IT技术厂商投身于大模型的研究与训练，并将其应用于各...
-
可与H100一战，微软首款5纳米自研芯片震撼发布！Copilot引爆办公全家桶，Bing Chat改名
微软深夜炸场，万物皆可Copilot！ Bing Chat，从此更名Copilot。 登录微软账号，就可以在Copilot专属网站上免费使用GPT-4、DALL·E 3。 图片 OpenAI的全新王牌爆款——自定义GPT，也被塞进Copilot宇宙，变身...
-
成本2元开发游戏，最快3分钟完成！全程都是AI智能体“打工”，大模型加持的那种
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发;后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来! 只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。 例如开发一个红包雨的小软件，现...
-
S-LoRA：一个GPU运行数千大模型成为可能
一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用...
-
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓...
-
在win10电脑上搭建python环境下的本地AI绘画工具Stable Diffusion
随着Chatgpt的横空出世，人工智能受到了前所没有的热棒，AI绘画也进入大众的视野。 Stable Diffusion是一种可以部署在本地环境上运行的人工智能绘画工具，图形运算主要用到的是显卡的GPU性能，因此最好有至少4G显存的显卡。 Stable...
-
LLaMA系列 | LLaMA和LLaMA-2精简总结
文章目录 1、LLaMA 1.1、模型结构 1.2、训练方式 1.3、结论 2、LLaMA-2 2.1、相比LLaMA1的升级 2.3、模型结构 2.3.1、MHA, MQA, GQA区别与联系 2.4、训练方式 1、L...
-
【AI绘画】Stable Diffusion WebUI
???欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kuan 的首页,持续学习,不断总结,共同进步,活到老学到老 导航 檀越...
-
Stable Diffusion Web UI
Stable Diffusion Web UI 是一个基于 Stable Diffusion 的基础应用，利用 gradio 模块搭建出交互程序，可以在低代码 GUI 中立即访问 Stable Diffusion Stable Diffusion...
-
【云栖2023】王峰：开源大数据平台3.0技术解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：王峰 | 阿里云研究员，阿里云计算平台事业部开源大数据平台负责人 演讲主题：开源大数据平台3.0技术解读 实时化与Serverless是开源大数据3.0时代的必然选择 阿里云开源...
-
【云栖2023】林伟：大数据AI一体化的解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：林伟 | 阿里云研究员，阿里云计算平台事业部首席架构师，阿里云人工智能平台PAI和大数据开发治理平台DataWorks负责人 演讲主题：大数据AI一体化的解读 今年是AI大爆发的一年，...
-
前端调用 Stable diffusion 秋叶启动器 Web-Ui API
环境启动 在启动器启动前，开启启用 API 就可以调用 通过访问 API DOCS 查看完整的接口地址。 请求方式 POST 请求体以 JSON 形式发送。 以 axios 为例： const axios = axios.create({......
-
OpenAI大佬甩出「喵喵GPT」调戏黑客！分享ChatGPT成功的秘密：极限压榨GPU资源
一个30人的团队，完成了这个地球上最受欢迎的产品的发布和维护。他们成功的经验和失败的教训，简直如金子一般珍贵。 OpenAI的工程团队经理（Engineering Manager）EvanMorikawa在一个开发者社区的活动中，分享了OpenAI发布Ch...
-
【LLM】Windows本地CPU部署民间版中文羊驼模型（Chinese-LLaMA-Alpaca）踩坑记录
目录 前言 准备工作 Git Python3.9 Cmake 下载模型 合并模型 部署模型 前言 想必有小伙伴也想跟我一样体验下部署大语言模型, 但碍于经济实力, 不过民间上出现了大量的量化模型, 我们平民也能体验体验啦~...
-
DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑
距离马斯克的 xAI 公布 Grok 才过去一天，刚刚，xAI 又公布了另一款 AI 产品，一个可用于 prompt 工程和可解释性研究的集成开发环境：PromptIDE。 接连不断的新品发布，也让网友纷纷感叹：「xAI 团队的开发速度简直是疯了！」...
-
OpenTelemetry 项目解读
Opentelemetry Architecture 在 Collector 内部设计中，一套数据的流入、处理、流出的过程称为 pipeline。一个 pipeline 有三部分组件组合而成，它们分别是 receiver/ processor/ expo...
-
直击 | 认识和了解bboss
1. BBoss是什么 bboss是一个基于开源协议Apache License发布的开源项目，由开源团队bboss运维，主要由以下三部分构成： Elasticsearch Highlevel Java Restclient ， 一个高性能高兼容性的...
-
为何 Filebeat 采集日志不是实时的？(采集时间与log本身时间有差异)
注：本文中 filebeat 的版本为 7.5，不同版本的 filebeat 的行为可能有所差异。 一、前言 filebeat 采集的日志的时间戳，和日志管理平台实际收到的日志时的时间戳，通常都会有几秒的延迟，有些情况下甚至能达到十几秒。其中固然...
-
第02期：Prometheus 数据采集（一）
上篇文章（第01期：详解 Prometheus 专栏开篇）介绍了 Prometheus 的架构，本文开始将介绍 Prometheus 数据采集。本文首先会介绍采集数据的格式和分类，然后会给出一些使用上的建议。 一、采集数据格式及分类 1.1 采集数据的...
-
大数据平台的数据采集分析
数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract 、转换(Transform 和加载(Load 。在转...
-
OpenAI潜入黑客群聊！盗用ChatGPT被换成“喵喵GPT”，网友：绝对的传奇
当ChatGPT被黑客“入侵”时，OpenAI会如何应对? 掐断API，不让他们用?不不不。 这帮极客们采取的做法可谓是剑走偏锋——反手一记《无间道》。 图源备注：图片由AI生成，图片授权服务商Midjourney 故事是这样的。 OpenAI虽然在发布...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...