-
WidthFormer：实时自动驾驶！助力基于Transformer的BEV方案量产
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&行业理解 基于BEV的transformer方案今年量产的主要方案，transformer结构和CNN相比，特征提取能力更强，但需要较多的算力，这也是为什么许多车上都是1~2颗orin...
-
字节跳动基础架构SRE-Copilot获得2023 CCF国际AIOps挑战赛冠军
近日，2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会在北京成功举办，活动吸引了来自互联网、运营商、科研院所、高校、软硬件厂商等领域多名专家学者参与，为智能运维的前沿学术研究、落地生产实践打开了新思路。决赛中，从初赛两百多支...
-
【AIGC专题】Stable Diffusion 从入门到企业级应用0414
一、前言 本文是《Stable Diffusion 从入门到企业级应用实战》系列的第四部分能力进阶篇《Stable Diffusion ControlNet v1.1 图像精准控制》的第0414篇 利用Stable Diffusion ControlNe...
-
基于 PAI-EAS 一键部署 Stable Diffusion AIGC 绘画
人工智能平台PAI完成云上Stable Diffusion以文生图应用搭建，支持两种方式： 使用交互式建模 PAI-DSW 使用模型在线服务 PAI-EAS 两种部署适用人群： 1.使用交互式建模 PAI-DSW 部署Stable Diffus...
-
大模型“藏毒”：“后门”触发，猝不及防！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 跟大模型会产生幻觉相比，更可怕的事情来了，最新的一项研究证明：在用户不知情的情况下，最初觉得很得力的大模型助手，将化身“间谍”，产生破坏性代码。 具体来讲，一组研究人员对LL...
-
基于OpenAI的Whisper构建的高效语音识别模型：faster-whisper
1 faster-whisper介绍 faster-whisper是基于OpenAI的Whisper模型的高效实现，它利用CTranslate2，一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度，还优化了内存使用效率...
-
[玩转AIGC]LLaMA2训练中文文章撰写神器（数据准备，数据处理，模型训练，模型推理）
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2）将数据集进行合并 3、数据集处理之模型（ll...
-
数据计算任务工具Fluid在AIGC模型推理场景中的优化方案
Fluid的介绍 Fluid是一个在Kubernetes环境中编排数据和使用数据的计算任务的工具。它的编排不仅涉及空间上的优化，还包括时间上的调度。从空间角度看，计算任务会优先被分配到存有缓存数据或靠近缓存的节点上，从而提升数据密集型应用的性能。从时间角...
-
全新免费编程神器！比Copilot快两倍，准确率高20% | 非十科技发布
一款国产编程神器，秒杀了微软GitHub Copilot。 有多快？ 比GitHub Copilot快两倍的同时，准确度还提高了约20%。 不仅如此，在做到“快”、“准”的情况下，功能上也是比较全面，包括： 代码自动补全、自然语言生成代码、自动添加注释、...
-
向量数据库：AIGC时代的必备基础工具
今天分享的AIGC系列深度研究报告：《向量数据库：AIGC时代的必备基础工具》。 （报告出品方：广发证券） 报告共计：47页 点击添加图片描述（最多60个字）编辑 一、向量数据库为 AI 大模型全生命周期管理提质增效 随着AI大模型的...
-
如何高效部署大模型？CMU最新万字综述纵览LLM推理MLSys优化技术
在人工智能（AI）的快速发展背景下，大语言模型（LLMs）凭借其在语言相关任务上的杰出表现，已成为 AI 领域的重要推动力。然而，随着这些模型在各种应用中的普及，它们的复杂性和规模也为其部署和服务带来了前所未有的挑战。LLM 部署和服务面临着密集的计算强...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
【AI实战】llama.cpp 量化部署 llama-33B
【AI实战】llama.cpp 量化部署 llama-33B llama.cpp 量化介绍 环境配置 安装 llama.cpp 拉取 llama.cpp 仓库代码 编译llama.cpp 生成量化版本模型 模型准备 将上述.pth模型权重...
-
打破信息差！一款让人惊艳的大模型3D可视化工具！
近日，一位来自新西兰的小哥Brendan Bycroft在技术圈掀起了一股热潮。他创作的一项名为大模型3D可视化的项目，不仅登上了Hacker News的榜首，而且其震撼的效果更是让人瞠目结舌。通过这个项目，你将在短短几秒钟内完全理解LLM（Large...
-
AIGC：阿里开源大模型通义千问部署与实战
1 引言 通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
AIGC：【LLM（七）】——Baichuan2：真开源可商用的中文大模型
文章目录 一.模型介绍 二.模型部署 2.1 CPU部署 2.2 GPU部署 三.模型推理 3.1 Chat 模型推理 3.2 Base 模型推理 四.模型量化 4.1 量化方法 4.2 在线量化 4.3 离线量化 4.4 量化效果...
-
Colossal-AI团队开源了SwiftInfer 大模型无限流式输入推理飙升46%
近日，国产开源项目SwiftInfer实现了无限流式输入推理，成功提升了大模型推理性能46%。这是一个重大突破，可以为多轮对话场景提供高效可靠的落地方案。 它采用了attention sink注意力机制、窗口注意力优化、KV Cache机制优化等方法，Sw...
-
400万token上下文、推理再加速46%！最新开源方案升级MIT成果，推理成本再降低
22倍加速还不够，再来提升46%，而且方法直接开源！ 这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。 StreamingLLM可以在不牺牲生成效果、推理速度的前提下，实现多轮对话共400万个token，22.2倍推理速度提升。 该项...
-
大模型无限流式输入推理飙升46%！国产开源加速「全家桶」，打破多轮对话长度限制
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工Guangxuan Xiao等人推出的StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共400万个token的流式输入，22.2倍的推理速度提升...
-
AI视野：阿里开源AnyText；Pika推出付费计划；阿里推文生3D数字人项目；Magnific AI图片分辨率扩大至10K*10K
🤖📈💻💡大模型动态 阿里开源AnyText 阿里开源多语言视觉文字生成与编辑模型——AnyText，AnyText对生成文字的把控可媲美专业PS，用户可自定义规划文字出现的位置，图片的强度、力度、种子数等，目前在Github超2，400颗星非常受欢迎。...
-
专为数据库打造：DB-GPT用私有化LLM技术定义数据库下一代交互方式
2023 年 6 月，蚂蚁集团发起了数据库领域的大模型框架 DB-GPT。DB-GPT 通过融合先进的大模型和数据库技术，能够系统化打造企业级智能知识库、自动生成商业智能（BI）报告分析系统（GBI），以及处理日常数据和报表生成等多元化应用场景。DB-G...
-
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）
目录 一、clone仓库 二、数据集下载与处理 1、数据集下载 2、数据集标记化（耗时较长） 三、修改配置 四、开始训练 五、模型推理 六、train.py训练代码讲解 1、导包 2、定义模型训练参数与相关设置 3、加载模型配置 4、迭代...
-
如何在亚马逊 SageMaker 进行 Stable Diffusion 模型在线服务部署
文章目录 前言 - 浅谈 AIGC AIGC - 引领人工智能走向春天 春天里盛开的 AI 绘画 AI 绘画之Stable Diffusion 2.0 登场 人人都有机会成为前沿的技术探索者 基于Amazon SageMaker进行Stab...
-
AI平台：OpenXLab浦源
OpenXLab浦源 开放项目应用中心模型中心数据集中心文档中心 搜索 中文EN创建登录注册人工智能开源开放体系浦源内容平台应用中心探索多领域应用，体验丰富的社区生态AIGC语音计算机视觉自然语言处理多模态技术更多在这里...
-
使用 OpenLLM 构建和部署大模型应用
本次分享主题为：使用 OpenLLM 快速构建和部署大语言模型的应用。OpenLLM 是一个开源的大语言模型（LLM）开发框架。它支持多种开源的 LLM 模型，并且具有内建的两个关键的 LLM 优化，能够优化内存使用。此外，它与 LangChain 和...
-
研究称：英特尔Gaudi2技术在大语言模型推理方面媲美英伟达AI加速器
根据 Databricks 的最新研究，英特尔的 Gaudi2技术在大规模语言模型推理方面与业界领先的英伟达 AI 加速器相媲美。该研究发现，Gaudi2在解码方面的延迟与英伟达 H100系统相当，并且优于英伟达 A100。研究还发现，Gaudi2的推理性...
-
同花顺推出问财大模型HithinkGPT 开启内测申请
同花顺问财推出了 HithinkGPT 大模型，采用 transformer 的 decoder-only 架构。提供7B、13B、30B、70B 和130B 五种版本选择，最大允许32k 文本输入，支持 API 接口调用、网页嵌入、共建、私有化部署等能力...
-
手把手教你通过PaddleHub快速实现输入中/英文本生成图像（Stable Diffusion）
近来，基于Diffusion的文图生成模型比较火，用户输入一句话，模型就可以生成一副对应的图像，还是很有意思的。本文记录了通过PaddleHub快速实现上述任务的过程，以供参考。 1、安装PaddlePaddle PaddleHub底层依赖于百度自研的...
-
kaggle竞赛-Stable Diffusion数据分析与baseline
你的目的是来预测我们生成图像的提示词 1.比赛目标 这个竞赛的目标不是从文本提示生成图像，而是创建一个模型，可以在给定生成图像的情况下预测文本提示（你有一堆提示词，你预测是否该提示词参与了图像的生成）?您将在包含由Stable Diffusion 2....
-
大模型+机器人，详尽的综述报告来了，多位华人学者参与
大模型的出色能力有目共睹，而如果将它们整合进机器人，则有望让机器人拥有一个更加智能的大脑，为机器人领域带来新的可能性，比如自动驾驶、家用机器人、工业机器人、辅助机器人、医疗机器人、现场机器人和多机器人系统。 预训练的大型语言模型（LLM）、大型视觉 -...
-
基于Gradio/Stable Diffusion/Midjourney的AIGC自动图像绘画生成软件 - Fooocus
0.参考 本项目：GitHub - lllyasviel/Fooocus: Focus on prompting and generating 作者：Lvmin Zhang 编辑 lllyasviel 另一杰作 ContorlNet https...
-
李飞飞DeepMind全新「代码链」碾压CoT！大模型用Python代码推理，性能暴涨12%
思维链（CoT），最具开拓性和影响力的提示工程技术之一，能增强LLM在推理决策中的表现。 那么，如果大模型可以在代码中「思考」，会如何呢？ 最近，谷歌DeepMind、斯坦福、UC伯克利团队联手提出了全新技术——「代码链」（CoC）。 论文地址：htt...
-
Stable diffusion的一些参数意义及常规设置
在线stabel Diffusion模型 https://huggingface.co/spaces/stabilityai/stable-diffusion随机种子 seed 如果想要同一个文本提示，生成多次都是同一图像，可以设置一个随机种子，类似于...
-
Stable Diffusion4
这个也发到第4回了~~ 输入一句话，就能把图片修改好, 自用的好工具真是挺有用的 , AI 正在向图片生成领域发起挑战，各大科技公司、高校等开始纷纷涉足。最近一段时间，关心 AI 圈的人可能都有这样一种感受：扩散模型被越来越多的人提及，基于扩散模型的各种...
-
Gemini Pro还不如GPT-3.5，CMU深入对比研究：保证公平透明可重复
谷歌Gemini实力到底如何？卡耐基梅隆大学来了场专业客观第三方比较。 为保证公平，所有模型使用相同的提示和生成参数，并且提供可重复的代码和完全透明的结果。 不会像谷歌官方发布会那样，用CoT@32对比5-shot了。 一句话结果：Gemini Pr...
-
LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip ins...
-
推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀
像Pika一样的神级创业故事又要再次上演了？ 两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。 在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了E...
-
大模型那么火，教你一键Modelarts玩转开源LlaMA(羊驼)大模型
图1.1 GPT-2 模型结构 关于训练集，其来源都是公开数据集，无任何定制数据集，保证了其工作与开源兼容和可复现。整个训练数据集在 token 化之后大约包含 1.4T 的 token。其中，LLaMA-65B 和 LLaMA-33B 是在 1.4万亿...
-
大模型公司「卷」 芯片 英伟达危？
人工智能的行业竞争，不仅是OpenAI与谷歌等各大互联网巨头的大模型之争，支撑运算的芯片赛道也暗流涌动，大模型“制造机”们也加入了赛道。 OpenAI计划从CEO Sam Altman投资的一家初创公司Rain AI订购更高效的NPU芯片;微软也推出两款自...
-
通过制作llama_cpp的docker镜像在内网离线部署运行大模型
对于机器在内网，无法连接互联网的服务器来说，想要部署体验开源的大模型，需要拷贝各种依赖文件进行环境搭建难度较大，本文介绍如何通过制作docker镜像的方式，通过llama.cpp实现量化大模型的快速内网部署体验。 一、llama_cpp介绍 LLa...
-
2023.12.12最新源码及资源：使用Python构建与百度大模型(包括文心一言在内的18个语言模型)的交互式界面！！
#ps:12.12修复bug，部分模型不能回应的问题，资源已更新！ 在当前人工智能领域，通过与机器进行智能对话的能力变得越来越重要。本文将介绍如何使用Python编程语言和Tkinter库构建一个交互式界面，使用户能够与百度大模型进行智能对话，展...
-
扩散模型训练太难？来看看Meta AI最新提出的KNN-Diffusion
原文链接：https://www.techbeat.net/article-info?id=4323 作者：seven_ 最近AIGC社区中有趣的工作可谓是层出不穷，这都得益于扩散模型（Diffusion Models）的成功，扩散模型作为生成式AI...
-
北京大学发布EAGLE 大模型推理效率无损提升3倍
近年来，大语言模型在各领域应用广泛，但其文本生成过程昂贵且缓慢。为解决这一问题，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度，同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量...
-
面向 Stable Diffusion 的自动 Prompt 工程算法 BeautifulPrompt
近日，阿里云人工智能平台PAI与华南理工大学朱金辉教授团队合作在自然语言处理顶级会议EMNLP2023上发表了BeautifulPrompt的深度生成模型，可以从简单的图片描述中生成高质量的提示词，从而使文生图模型能够生成更美观的图像。BeautifulP...
-
开源大模型超越GPT-3.5！爆火MoE实测结果出炉，网友：OpenAI越来越没护城河了
一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了： 首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。 （对，就是传闻中GPT-4的同款方案。） 并且由于是稀疏模型，处理每个toke...
-
基于 AIGC，RocketMQ 学习社区探索开源软件学习新范式
AIGC 持续火爆全球，越来越多的场景开始接入并体现非凡的价值。其中应用广泛的场景之一就是智能知识问答，它改变了人们学习的方式，从阅读式到问答式，让知识的获取更加精准有效。开源软件拥有着广泛的求知群体，AIGC+ 社区的结合是学习型社区未来演进...
-
借助亚马逊云科技生成你的第一张AIGC图片
一幅绘画引领的AIGC(AI Generated Content，人工智能生成内容 热潮！ 2022年9月AI绘画“太空歌剧院”获得美国科罗拉多州博览会一等奖，同年11月底ChatGPT（人工智能对话聊天机器人）推出并迅速风靡全球，从时间节...
-
AIGC周报｜周鸿祎：不会用GPT的人未来将被淘汰；蔡崇信：不用过于担心AI未来会取代人类；AI翻唱或涉多项侵权行为
AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 Dall·E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来...
-
AI视野：Copilot将可免费使用GPT-4Turbo；Bing推深度搜索功能；谷歌推桌面版Chrome“帮我写”；百度腾讯等入股无问芯穹
???AI新鲜事 微软Copilot将可免费使用GPT-4Turbo 微软宣布Copilot将集成OpenAI最新工具，特别是强化版的GPT-4Turbo。GPT-4Turbo具有更大的上下文窗口和更新的知识截止日期，提供更深入的见解。微软表示，整合后将使...