-
FQS：一种神奇的数仓查询优化技术
本文分享自华为云社区《根据执行计划优化SQL【绽放吧！GaussDB(DWS 云原生数仓】》，作者：西岭雪山。 引言 如果您刚接触DWS那一定会好奇想要知道"REMOTE_FQS_QUERY" 到底代表什么意思？我们看官网的描述是代表这执行计划已经...
-
你的工厂需要部署边缘AI吗？
随着更多的制造企业希望利用人工智能(AI 工具访问数据并实时响应，预计将不断推动边缘AI市场的增长。通过采用边缘AI技术，企业可以获得更高的性能，如实时数据处理、效率和准确性，减少工作时间，并实现更好的能源管理和性能优化。 边缘AI市场预计将迎来强劲增...
-
企业如何通过熔断降级增强服务稳定性和系统可用性？
API 的调用稳定性被视为数据服务的最重要的指标。该指标的影响因素是多种多样的，「袋鼠云数据服务平台 DataAPI」不仅多次对于调用性能和稳定性进行压测和调优，而且还提供了多种配置项优化手段供客户进行自行调优。但是当遇到不可预期的大流量或其他突然情况时还...
-
针对AI工作负载优化数据中心的四种方法
AI有望以多种方式改变数据中心，例如改变数据中心就业市场以及改进数据中心监控和事件响应操作。 然而，AI可能对数据中心产生的最大影响是改变数据中心的工作方式。对于那些想要充分利用现代AI技术的企业来说，数据中心所容纳的基础设施及其管理方式必须有所改变。...
-
戴尔技术推动AI与生成式AI策略，存储技术加速前行
戴尔技术近日宣布，通过引入新的企业数据存储技术，与Nvidia DGX SuperPod AI基础设施进行验证，助力客户实现更快的AI和生成式AI性能。戴尔 Technologies基础设施解决方案集团总裁Arthur Lewis表示:“存储性能对于成功的...
-
一文读懂常用的 “生成式 AI 框架”
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - Gen AI ，即“生成式 AI” 技术。 随着 AI 技术的不断发展，Gen AI 的力量超越了单纯的技术奇迹，更是一种具有变革性的动态力量，深刻地塑造了...
-
百度AI模型“文心一言”新鲜体验
今天收到通知可以体验百度的AI模型“文心一言”，等了一个多月迫不及待的去体验了一把，以下是体验的相关记录。 1、简单介绍 通过文心一言官网链接https://yiyan.baidu.com/进入，看到如下界面： 在文心一言的自我介绍中，作为人...
-
每个人工智能工程师都应该了解的十大人工智能工具和框架
为了在竞争中保持领先地位，我们在此博客中列出了每位 AI 工程师都应该了解的2023 年最佳 AI 工具，包括 TensorFlow、PyTorch、sci-kit-learn 和 Apache Spark。准备好在2023 年获得最佳AI 工程师认证，...
-
Stable Diffusion 2.0 相比 1.5 是倒退吗？Prompt 实验给你真相
Stability.ai 一周多前发布了 Stable Diffusion 2.0 模型。这是继 8 月 Stable Diffusion 1.4 版本以来最大的更新。但在 AI 图像生成模型激烈的竞争局面下，看起来社区并不买账。SD 2.0 在 R...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
云上使用 Stable Diffusion ，模型数据如何共享和存储
随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同...
-
无需魔法，教你Midjourney随意用【内附源码】【示例】
感谢laf提供云资源赞助，小伙伴可白piao用来做测试。 感谢laf团队、白夜、米开朗基杨@sealos.io的热心布道 ，life is short, u need laf : 欢迎你也来加入laf开发。 正好现在laf在做一个活动，一起搞起来...
-
DDPM详解 AI绘画
话说DDPM DDPM模型，全称Denoising Diffusion Probabilistic Model，可以说是现阶段diffusion模型的开山鼻祖。不同于前辈GAN、VAE和flow等模型，diffusion模型的整体思路是通过一种偏...
-
Meta 、IBM等联合50多家公司结构成立 AI 联盟
标题:Meta 和 IBM 推出 AI 联盟 Meta Platforms 和 IBM 最近联合推出了一个名为 AI 联盟的合作项目，该联盟由50多家人工智能公司和研究机构组成。这个联盟旨在推动一种被称为 “开放模型” 的人工智能发展方式，并希望在快速增...
-
加拿大工程院院士宋梁：未来的人工智能系统将会以网络形式存在
12月5日消息 经国务院批准，由科技部和河南省政府共同主办，以“5G变革 共绘未来”为主题的2023世界5G大会将于12月6日至8日在河南省郑州市郑州国际会展中心举行。 围绕“强基韧链与引领带动”、“赋能产业高质量发展”，2023世界5G大会设置12个平...
-
客户案例：高性能、大规模、高可靠的AIGC承载网络
客户是一家AIGC领域的公司，他们通过构建一套完整的内容生产系统，革新内容创作过程，让用户以更低成本完成内容创作。 客户网络需求汇总 RoCE的计算网络 RoCE存储网络 1.不少于600端口200G以太网接入端口，未来可扩容至至少128...
-
RabbitMQ消息顺序性解密：保证消息的正确顺序
在分布式系统中，保证消息的正确顺序对于一些应用场景至关重要。而RabbitMQ作为一种流行的消息队列系统，本身并不提供严格的消息顺序保证。下面将探讨如何在使用RabbitMQ时实现消息的正确顺序，并介绍一些常见的解决方案和注意事项。 一、引言 Rabbi...
-
Python从零开始进行AIGC大模型训练与推理
本专栏将详细介绍从零开始进行AIGC大模型训练与推理（Python），包括文本生成（GPT系列）和图片生成（Stable Diffusion系列）等，初步计划从以下提纲逐步进行博文分享，欢迎关注。 1 AIGC（人工智能生成）技术背景与发...
-
大模型入门（一）—— LLaMa/Alpaca/Vicuna
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LL...
-
今日思考（1） — 算力对机器人的影响（基于文心一言的回答）
目录 1.高tops的算力能支持什么水平的复合机器人控制 2.什么情况下控制机器人需要更高的算力 3.为什么使用人工智能算法，例如深度学习、强化学习等，需要更多的计算资源来实现更精准的决策和控制。 4.将已经训练好的人工智能算法模型，例...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
280万大模型中文开发者拿到最后一块拼图
2023年5月，微软CEO纳德拉抛出一个惊人数字，未来全球的开发者数量将会达到10亿。 那时候Meta的Llama已经开源4个月，但一些国内的开发者发现，从小以英文语料喂养起来的Llama，对中文世界并不友好。 这未来的“10亿”开发者里会有多少中文开发者...
-
通义千问720亿参数模型开源，率先实现“全尺寸全模态”开源
12月1日，阿里云通义千问720亿参数模型Qwen-72B宣布开源。该模型基于3T tokens高质量数据训练，在10个权威基准测评中夺得开源模型最优成绩，在部分测评中超越闭源的GPT-3.5和GPT-4。 在英语任务上，Qwen-72B在MMLU基准测...
-
aigc是什么
一、AIGC的基本概念 AI生成内容（AIGC），是指运用人工智能技术，尤其是深度学习技术，创建各类数字内容的新型内容创作模式。AIGC继承了专业生成内容（PGC）的高质量特点，再结合用户生成内容（UGC）的分布式、互动的特点，打造了全新的数字内容生成与...
-
百度搜索内容HTAP表格存储系统
作者 | Chaos 导读 本文主要介绍百度搜索内容存储团队应对海量互联网数据分析计算需求时，在构建HTAP表格存储系统方向上的一些技术思考。 全文4683字，预计阅读时间12分钟。 01 业务背景 百度搜索内容存储团队主...
-
聊一聊大模型 | 京东云技术团队
事情还得从ChatGPT说起。 2022年12月OpenAI发布了自然语言生成模型ChatGPT，一个可以基于用户输入文本自动生成回答的人工智能体。它有着赶超人类的自然对话程度以及逆天的学识。一时间引爆了整个人工智能界，各大巨头也纷纷跟进发布了自家的大模...
-
Keras 3.0正式发布 引入全新的大模型训练和部署功能
Keras3.0的发布标志着一次重大的更新迭代，经过5个月的努力，该版本在多个方面带来了显著的改进。首先，Keras3.0全面支持了TensorFlow、JAX和PyTorch框架，这意味着用户现在可以选择在不同框架上运行他们的Keras工作流。这种灵活性...
-
Keras 3.0一统江湖！大更新整合PyTorch、JAX，全球250万开发者在用了
刚刚，Keras 3.0正式发布！ 经过5个月的公开Beta测试，深度学习框架Keras 3.0终于面向所有开发者推出。 全新的Keras 3对Keras代码库进行了完全重写，可以在JAX、TensorFlow和PyTorch上运行，能够解锁全新大模型训...
-
文心一言 vs GPT4
本周真是科技爱好者的狂欢节。GPT4和文心一言接连发布，AI工具已经开始走进千家万户。 拿文心一言发布会上的几个问题调戏了 GPT4 一下，看看表现如何。 第一个为文心的回答，第二个为GPT4 的回答。 1. 可以总结一下三体的核心内容吗？如果要续写...
-
处理海量数据：Java与MySQL大数据处理的技巧
处理海量数据是现代应用程序中常见的挑战之一，尤其是在Java与MySQL这样的技术栈中。下面将介绍一些处理海量数据的技巧和策略，并讨论如何通过Java与MySQL实现高效的大数据处理。 一、基础概念和挑战 处理海量数据涉及到大量的存储和计算资源，因此需要...
-
基于文心一言AI大模型，编写一段python3程序以获取华为分布式块存储REST接口的实时数据
本文尝试基于文心一言AI大模型，编写一段python3程序以获取华为分布式块存储REST接口的实时数据。 一、用文心一言AI大模型将需求转化为样例代码 1、第一次对话：“python3写一段从rest服务器获取数据的样例代码” 同时生成了以下注解...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
AI生成内容（AIGC）：概念、实现与未来趋势
一、AIGC的基本概念 AI生成内容（AIGC），是指运用人工智能技术，尤其是深度学习技术，创建各类数字内容的新型内容创作模式。AIGC继承了专业生成内容（PGC）的高质量特点，再结合用户生成内容（UGC）的分布式、互动的特点，打造了全新的数字内容生成与...
-
李沐大模型公司细节曝光，项目GitHub空仓标星超500
AI大神李沐大模型创业方向，终于“水落石出”: 利用大模型能力，做游戏引擎，且是面向4A游戏。 关于4A游戏这个概念，目前业内没有统一的“名词解释”，但通常理解为比3A游戏更强大一点的游戏（doge）。 被曝从亚马逊首席科学家的职务上离职后，李沐联手其导师...
-
AI画图 Ubuntu 20.04.5 LTS x86_64 Docker stable diffusion webui 及 http api接口
资源 Docker镜像 docker pull darkroot1234/ayanami:latest 参考地址： docker一键运行stable diffusion webui，常用插件和功能完备，获得镜像后可打包带走 - 哔哩哔哩 nv...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
AIGC数据处理与存储解决方案
针对在AIGC的场景下，如何解决在AIGC训练过程中数据的存储和数据处理的问题，杨冠军从三个方面进行介绍与解读： 一是AIGC对存储提的新需求； 二是介绍腾讯云可以给用户提供的整体存储解决方案； ...
-
2023年的深度学习入门指南(20) - LLaMA 2模型解析
2023年的深度学习入门指南(20 - LLaMA 2模型解析 上一节我们把LLaMA 2的生成过程以及封装的过程的代码简单介绍了下。还差LLaMA 2的模型部分没有介绍。这一节我们就来介绍下LLaMA 2的模型部分。 这一部分需要一些深度神经网络的...
-
边缘智能：实现实时数据处理和智能决策的新一代技术
Labs 导读 边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。 Part 01、 什么是边缘智能 ...
-
腾讯披露最新大模型训练方法，可节省50%算力成本
在算力紧缺的背景下，如何提升大模型训练和推理的效率，并降低成本，成为业界关注的焦点。 11月23日，腾讯披露，腾讯混元大模型背后的自研机器学习框架Angel再次升级，大模型训练效率提升至主流开源框架的2.6倍，千亿级大模型训练可节省50%算力成本。升级后...
-
AIGC繁花，绽放在精耕的算力土壤之上
2023年的春天，称得上一句AI之春。大模型成为技术力量新的爆发点，生成式AI（AIGC）应用风起云涌。 产业界争先恐后训大模型之际，广大用户最大的困惑是——发布了，但就是玩不到啊！ OpenAI有地域限制且不去说它，各种国产大模型也很...
-
LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插
LLMs之Colossal-LLaMA-2：源码解读(train.py文件 基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插件 →数据预处理(初始化分词器+数据处理器+数据加载器 ...
-
【AIGC】ChatGPT能上传文件了，文档图片数据集秒理解，代码一键执行
文章目录 前言 正文 Python支持的ChatGPT都能干 应用场景 文档理解和摘要 图片分析和描述 数据集处理和分析 文件搜索和检索 任务协作和知识共享 总结 写在最后 前言 在过去的几年中，人工智能技术取得了巨大的进展，...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
QPS提升近10倍！解读飞桨加持下的文心一言满月成绩单
近期，一直犹抱琵琶半遮面的国内各路AI相关厂商，扎堆发布大模型。一时间，百“模”大战，鱼龙混杂。 此前，作为全球第一个正式发布大模型的大厂，百度文心一言的一举一动，成为业界关注的焦点。 就在4月19日，时隔文心一言发布1个月又3天，一张“百度飞桨对文心...
-
【云上探索实验室】活动小记-《使用 Amazon SageMaker 构建机器学习应用》《基于 Amazon SageMaker 构建细粒度情感分析应用》《基于Stable Diffusion模》
有幸参加亚马逊的【云上探索实验室】实验活动，活动围绕亚马逊 SageMaker开展。Amazon SageMaker 是一项完全托管的机器学习服务。借助 SageMaker，开发人员可以快速、轻松地构建和训练机器学习模型，然后直接将模型部署到生产就绪托管环...
-
AntDB数据库受邀参加第六届上海人工智能大会，分享AIGC时代核心交易系统升级方案
近日，第六届上海人工智能大会春季论坛圆满落幕。大会以“数智互联，瞰见未来”为主题，邀请了来自国内外十余个国家和地区的学术界顶级学者和业内知名企业的技术大咖，探讨人工智能的学术、人才、技术、行业发展痛点。亚信科技AntDB数据库作为数智转型时代的基础软件受邀...
-
暂停ChatGPT Plus注册，OpenAI面临容量挑战
11月16日消息，据外媒报道，OpenAI首席执行官Sam Altman日前表示，DevDay开发者大会之后，ChatGPT的使用量激增，这给ChatGPT带来了容量挑战。对此，OpenAI决定暂时停止ChatGPT Plus的注册，以解决这些问题，并...
-
AI生成图像竟如此真实了？Stable Diffusion Model本地部署教程
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 ?个人主页：小嗷犬的个人主页 ?个人网站：小嗷犬的技术小站 ?个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。 本文目录 图像生成 sta...
-
AI绘画第一步，安装Stable-Diffusion-WebUI全过程 !
别玩那些小孩子的玩意儿了，大人应该玩这些^_^！ 我是真没想到，AI绘画已经进化到这种程度了。 实在是太！逼！真! 了！不上重马赛克都不敢贴图！ 看了这些图，有没有心痒痒的？今天就来带大家入个门！先把...