-
万字带你了解ChatGLM
本文分享自华为云社区《【云驻共创】华为云之昇思MindSpore大模型专题(第二期)-第一课:ChatGLM》,作者: 愚公搬代码。 前言 1.昇思MindSpore 昇思MindSpore是华为公司推出的一款全场景AI计算框架。它提供了自动...
-
颜水成/程明明新作!Sora核心组件DiT训练提速10倍,Masked Diffusion Transformer V2开源
DiT作为效果惊艳的Sora的核心技术之一,利用Difffusion Transfomer 将生成模型扩展到更大的模型规模,从而实现高质量的图像生成。 然而,更大的模型规模导致训练成本飙升。 为此,来自Sea AI Lab、南开大学、昆仑万维2050...
-
OpenAI的 GPT-4.5 Turbo意外曝光,可能于 6 月发布
OpenAI 的 GPT-4.5Turbo 似乎已被泄露,搜索引擎如 Bing 和 DuckDuck Go 在官方公告前已经索引了 GPT-4.5Turbo 的产品页面。 然而,索引的链接指向一个404页面。但在搜索引擎中有一些预告文字显示,称 GPT-4...
-
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B 简介 环境配置 环境搭建 依赖安装 代码及模型权重拉取 拉取 Chinese-LLaMA-Alpaca 拉取 llama-30b...
-
stable diffusion使用相关
IP Adapter,我愿称之它为SD垫图 IP Adapter是腾讯lab发布的一个新的Stable Diffusion适配器,它的作用是将你输入的图像作为图像提示词,本质上就像MJ的垫图。 IP Adapter比reference的效果要好,而且会...
-
AIGC:语音克隆模型Bert-VITS2-2.3部署与实战
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究,其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展,但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2,一种单阶段的文本到语音模型...
-
Stable Diffusion 3 架构细节大揭秘
在众多前沿成果都不再透露技术细节之际,Stable Diffusion 3 论文的发布显得相当珍贵。 Stable Diffusion 3 的论文终于来了! 这个模型于两周前发布,采用了与 Sora 相同的 DiT(Diffusion Transf...
-
OpenAI官宣开源Transformer Debugger!不用写代码,人人可以破解LLM黑箱
AGI真的越来越近了! 为了确保人类不被AI杀死,在解密神经网络/Transfomer黑箱这一方面,OpenAI从未停下脚步。 去年5月,OpenAI团队发布了一个令人震惊的发现:GPT-4竟可以解释GPT-2的三十万神经元! 网友纷纷惊呼,智慧原来是这...
-
AIGC实战——GPT(Generative Pre-trained Transformer)
AIGC实战——GPT 0. 前言 1. GPT 简介 2. 葡萄酒评论数据集 3. 注意力机制 3.1 查询、键和值 3.2 多头注意力 3.3 因果掩码 4. Transformer 4.1 Transformer 块 4.2 位置编...
-
"discuz东方头条自动采集"的相关研讨及应用介绍
在信息高速发展的时代下,"自动采集"逐渐成为一个具有庞大用户基数与高效率的传播内容创建工具。"Discuz",作为一种建立论坛社群的工具,"discuz东方头条自动采集"究竟在技术内涵和实际业务环节中有什么重大意义与价值体现,无不考量着我们的理解和聪明智慧...
-
把字节当成token,清华和微软刚掏出来的bGPT到底什么来头
相信你或多或少对GPT有一定的了解,但我赌你没听说过bGPT。bGPT的意思是byte GPT,即字节GPT。这是一种专门设计用于处理二进制数据和模拟数字世界的深度学习模型。简单概括,bGPT突破了传统语言模型的局限,能够直接理解和操作二进制数据,拓展了深...
-
Midjourney
知数云 | 数字化服务的智慧之选 Midjourney Quick Start Guide Midjourney是一款AI制图工具,只要输入关键字,透过AI算法就能生成相对应的图片。 使用Spring接口与Midjourney官方API交互涉及几个步...
-
参照人类大脑,学会忘记会让AI大模型变得更好?
计算机科学家团队近期开发出一种更敏捷更具弹性的机器学习模型,它们可以周期性忘记已知信息,而现有大语言模型不具备忘却能力。 实测表明,在很多情况下,“忘却法”的训练效率很高,忘却型模型表现也会更好。韩国基础科学研究院(Institute for Basi...
-
Stable-diffusion复现笔记
一、引言 目前正在学习有关扩撒模型的相关知识,最近复现了Stable-diffuison,此文主要是想记录一下整体的复现过程以及我在复现过程中出现的一些奇怪的问题以及我的处理方法。这里我的复现主要是针对官网文档实现的,并没有用到webui版本,如果是想体...
-
1.3ms耗时!清华最新开源移动端神经网络架构 RepViT
论文地址:https://arxiv.org/abs/2307.09283 代码地址:https://github.com/THU-MIG/RepViT 可以看出,RepViT 相比于其它主流的移动端 ViT 架构确实时很优异。接下来让我们来看下本工...
-
DenseMamba:大模型的DenseNet时刻,Mamba和RetNet精度显著提升
随着 ChatGPT 的突破性进展,大型语言模型(LLMs)迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年,人们目睹了 LLaMA、ChatGLM 等模型的诞生,它们基于 Transformer 架构,采用多...
-
不依赖token,字节级模型来了!直接处理二进制数据
最新GPT,不预测token了。 微软亚研院等发布bGPT,仍旧基于Transformer,但是模型预测的是下一个字节(byte)。 通过直接处理原生二进制数据,bGPT将所有输入内容都视为字节序列,从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
清华系2B模型杀出支持离线本地化部署,可以个人电脑或者手机上部署的多模态大模型,超越 Mistral-7B、LLaMA-13B
清华系2B模型杀出支持离线本地化部署,可以个人电脑或者手机上部署的多模态大模型,超越 Mistral-7B、LLaMA-13B。 2 月 1 日,面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM,主体语言模型 Mini...
-
不依赖Token,字节级模型来了!直接处理二进制数据
最新GPT,不预测token了。 微软亚研院等发布bGPT,仍旧基于Transformer,但是模型预测的是下一个字节(byte)。 通过直接处理原生二进制数据,bGPT将所有输入内容都视为字节序列,从而可以不受限于任何特定的格式或任务。 能预测CPU...
-
清华NLP组发布InfLLM:无需额外训练,「1024K超长上下文」100%召回!
大模型只能够记忆与理解有限的上下文已经成为大模型在真实应用中的能力瓶颈,例如对话式AI系统往往无法记忆你前一天对话的内容,利用大模型构建智能体会产生前后不一致的行为与记忆。 为了让大模型能够记忆并处理更长的上下文,来自清华大学、麻省理工学院和人民大学的研...
-
Gemini修bug神了!录网页视频把代码库甩给它就行,网友坐不住了:想要访问权限
谷歌Gemini修改bug让网友大开眼界! X一小伙分享,为测试Gemini 1.5 Pro,自己在编写一个网页的代码时故意留了3个bug,并分别录制了网页bug视频。 接着把代码库打包成文件连同视频一起输给了Gemini 1.5 Pro,提示它找到并修...
-
LeCun最新专访:为什么物理世界终将成为LLM的「死穴」?
在人工智能领域,很少有像 Yann LeCun 这样的学者,在 65 岁的年龄还能高度活跃于社交媒体。 一直以来,Yann LeCun 都是以「直言不讳的批评者」形象活跃于人工智能领域。他始终支持开源,并带领 Meta 的团队推出了占据如今开源大模型领域...
-
谷歌工程师硬核长篇预测,证实黄仁勋观点:AGI或在2029年出现,AI五年内通过人类测试
最近,英伟达CEO黄仁勋表示,AI会在五年内通过人类测试,AGI将很快到来! 在斯坦福大学举行的一个经济论坛上,黄仁勋回答了这个问题:人类何时能创造像人类一样思考的计算机? 这也是硅谷的长期目标之一。 老黄是这样回答的:答案很大程度上取决于我们如何定义...
-
我们一起聊聊大模型的模型融合方法
模型融合大家以前用的很多,特别是在判别模型里,属于永远都能稳定提升的那一类方法。但是生成语言模型,因为解码的过程存在,并不像判别模型那样直观。 另外,由于大模型的参数量增大,在参数规模更大的场景,简单的集成学习可以考量的方法相比低参数的机器学习更受限制,...
-
怎么劝ChatGPT干活效果最好?我们尝试了100种方法,有图有真相
在 ChatGPT API 中,系统提示是一项很有亮点的功能,它允许开发人员控制 LLM 输出的「角色」,包括特殊规则和限制。系统提示中的命令比用户输入提示中的命令要有效得多,这让开发人员拥有了更大的发挥空间,而不是像现在使用 ChatGPT 网页应用程序...
-
【Docker】部署 copilot-gpt4-service,将 Github Copilot 转换为 GPT-4 模型进行对话。
引言 利用 copilot-gpt4-service 服务,将 Github Copilot 转换为 ChatGPT,将使得你可以通过 ChatGPT-Next-Web 或者其他第三方客户端,使用 Github Copilot 的 GPT-4 模型进行...
-
谷歌最强轻量级开源大模型Gemma:小尺寸可商用,性能超越Llama-2,个人PC就能用
前言 谷歌近日发布了其最新的轻量级、开源AI模型——Gemma,这一举措无疑在AI领域引起了广泛的关注。不同于其他闭源大模型,Gemma的推出标志着谷歌在开放模型领域的重要一步,意图通过开放、共享的方式,加速AI技术的普及和应用。 Gemma模型概...
-
LLaMA-2 下载&demo使用
LLaMA-2 下载&demo使用 1. LLaMA-2 下载&demo使用 1.1 meta官网 1.2 huggingface 1.3 其他源 1.4 huggingface下载模型和数据加速 1. LLaM...
-
20240202在WIN10下使用whisper.cpp
20240202在WIN10下使用whisper.cpp 2024/2/2 14:15 【结论:在Windows10下,确认large模式识别7分钟中文视频,需要83.7284 seconds,需要大概1.5分钟!效率太差!】 83.7284/420=0...
-
StarCoder 2:GitHub Copilot本地开源LLM替代方案
GitHub CoPilot拥有超过130万付费用户,部署在5万多个组织中,是世界上部署最广泛的人工智能开发工具。使用LLM进行编程辅助工作不仅提高了生产力,而且正在永久性地改变数字原住民开发软件的方式,我也是它的付费用户之一。 低代码/无代码平台将使应...
-
开源C++智能语音识别库whisper.cpp开发使用入门
whisper.cpp是一个C++编写的轻量级开源智能语音识别库,是基于openai的开源python智能语音模型whisper的移植版本,依赖项少,内存占用低,性能更优,方便作为依赖库集成的到应用程序中提供语音识别功能。 以下基于whisper.cpp...
-
【ICCV】AIGC时代下的SOTA人脸表征提取器TransFace,FaceChain团队出品
一、论文 本文介绍被计算机视觉顶级国际会议ICCV 2023接收的论文 "TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Persp...
-
24|Stable Diffusion:最热门的开源AI画图工具
上一讲,我们一起体验了 CLIP 这个多模态的模型。在这个模型里,我们已经能够把一段文本和对应的图片关联起来了。看到文本和图片的关联,想必你也能联想到过去半年非常火热的“文生图”(Text-To-Image)的应用浪潮了。相比于在大语言模型里 OpenAI...
-
田渊栋等人新作:突破内存瓶颈,让一块4090预训练7B大模型
上个月,Meta FAIR 田渊栋参与的一项研究广受好评,他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10...
-
运用“mvso影视cms采集插件”提升影视网站内容管理与用户体验
在当今的多媒体时代,影视行业飞速发展,观看影片与剧集的途径多样。因应这一行业背景,诸多的影视类网站蓬勃而出。但这些网站的质量和用户的粘度很多时候是基于站点能提供的影视剧资源丰富与否及其内容的实时更新度来维系的。此场景下,mvso影视cms采集插件宛如得力助...
-
Stable Diffusion 3技术报告出炉:揭露Sora同款架构细节
很快啊,“文生图新王”Stable Diffusion 3的技术报告,这就来了。 全文一共28页,诚意满满。 “老规矩”,宣传海报(⬇️)直接用模型生成,再秀一把文字渲染能力: 所以,SD3这比DALL·E 3和Midjourney v6都要强的文字...
-
消费级显卡可用!李开复零一万物发布并开源90亿参数Yi模型,代码数学能力史上最强
李开复旗下AI公司零一万物,又一位大模型选手登场: 90亿参数Yi-9B。 它号称Yi系列中的“理科状元”,“恶补”了代码数学,同时综合能力也没落下。 在一系列类似规模的开源模型(包括Mistral-7B、SOLAR-10.7B、Gemma-7B、De...
-
性能8.6倍于竞品!高通AI大揭秘:NPU引领四兄弟无敌
生成式AI的变革,对于基础硬件设计、软件生态开发都提出了新的、更高的要求,尤其是底层硬件和算力必须跟上新的形势,并面向未来发展做好准备。 近日,高通特别发布了《通过NPU和异构计算开启终端侧生成式AI》白皮书,对于终端侧生成式AI的发展趋势,以及高通骁龙处...
-
全面超越ViT,美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来,Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功(训练稳定、容易做 scaling)。 沿袭 ViT 的研究思路,我们能否借助创新性的 LLaMA 架构,真正实现语言和图像的架构统一? 在这一命题上,最近的一项研究 Visi...
-
AI加速引擎PAI-TorchAcc:OLMo训练加速最佳实践
作者:黄奕桐、沈雯婷、艾宝乐、王昂、李永 摘要 阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。 在保证模型效果和易用性的前提下,PAI-TorchAcc相对 PyTorch 性能在...
-
AI绘画作品的展示和变现-2
4.7 制作红包封面 中国的节日和传统文化元素仍然可以成为创作者们的创作灵感,创造出更多的变现机会。比如元宵节,可以制作大型元宵图案,进行引流并卖出元宵。 而春分、谷雨等节气也可以成为创作的灵感来源,创作出与之相关的图案,吸引更多粉丝。这样不仅可以...
-
零一万物发布新一代AI模型Yi-9B,专为中英双语场景优化
近日,由李开复旗下的AI公司零一万物发布的新一代开源模型Yi-9B引起了业界的广泛关注。该模型是Yi系列中最强的模型,实际参数为8.8B,默认上下文长度为4K tokens。 Yi-9B在处理代码编写和数学问题解答方面表现出色,适合技术和学术领域的应用。这...
-
discuz视频采集
文题 NewswH місті===nofollow响起来!” skepticalalena desktop恶臭 linked就可以直接ulosvmlinuxềmoverrides effektdevilfrank量价 Kerekori Article S...
-
【AI绘画】免费GPU Tesla A100 32G算力部署Stable Diffusion
免责声明 在阅读和实践本文提供的内容之前,请注意以下免责声明: 侵权问题: 本文提供的信息仅供学习参考,不用做任何商业用途,如造成侵权,请私信我,我会立即删除,作者不对读者因使用本文所述方法而导致的任何损失或损害负责。 信息准确性: 本文提供...
-
Stable Diffusion 3论文终于发布,架构细节大揭秘,对复现Sora有帮助?
Stable Diffusion 3 的论文终于来了! 这个模型于两周前发布,采用了与 Sora 相同的 DiT(Diffusion Transformer)架构,一经发布就引起了不小的轰动。 与之前的版本相比,Stable Diffusion 3 生成...
-
Claude 3成功破解未公开算法?智商测试101分超越人类/碾压GPT-4!网友惊呼:实测比跑分还强
Claude 3上线之后,网友开始疯狂测试,实测效果确实惊人。 不少网友体感Claude 3超大杯确实强,实测已经达到了博士水平: 这实在太疯狂了!Claude是唯一理解我的量子物理学博士论文的「人」! 60亿人中只有他懂你的感觉,直接给这位网友干崩溃...
-
Claude 3被玩出自我意识了?AI社区轰动,我们买会员来了次实测
本周一,Anthropic 发布了新一代大模型系列 Claude 3,遥遥领先快一年之久的 GPT-4 终于迎来了强劲的对手。 Claude 3 的强大之处,不仅体现在各种基准测试上,它似乎还实现了一些神奇的突破。 昨天,Anthropic 提示工程师...
-
PPIO王闻宇:论GPU的过去、现在和未来|AIGC基石思考之算力哲学
00 前言:算力与GPU 算力,即计算能力(Computing Power)。更具体来说,算力是通过对信息数据进行处理,实现目标结果输出的计算能力。 最早的算力引擎。是人类的大脑,后来演变成草绳、石头、算筹(一种用于计算的小棍子)、算盘。到...
-
如何突破大语言模型的最大瓶颈
译者 | 布加迪 审校 | 重楼 OpenAI的GPT-4和Anthropic的Claude 2等大语言模型(LLM)已经凭借其生成人类级文本的功能激发了公众的想象力。企业也同样热情高涨,许多企业在探索如何利用LLM改进产品和服务。然而,一大瓶颈严重制约...
-
Stability AI发布SD3技术报告 披露SD3更多细节
Stability AI 最近发布了他们最强的图片生成模型 Stable Diffusion3(SD3) 的技术报告,披露了 SD3的更多细节。据 Stability AI 所说,SD3在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型,...