-
AI平台：GitHub: Let’s build from here · GitHub
GitHub: Let’s build from here · GitHub...
-
《Cocos Creator游戏实战》AIGC之将草稿内容转为真实内容
目录 前言 训练AI 从识别结果中提取必要数据 发送图片并生成最终代码 总结与提高 资源下载 前言 当创作灵感来的时候，我们可能会先把灵感记录在草稿上，之后再去实现它。比方说有一天，我突然来了游戏创作灵感，想着那可以先把一些简单的组件...
-
大模型中幻觉缓解技术的综合调查
大型语言模型（LLMs）是具有大量参数和数据的深度神经网络，能够在自然语言处理（NLP）领域实现多种任务，如文本理解和生成。近年来，随着计算能力和数据规模的提升，LLMs取得了令人瞩目的进展，如GPT-4、BART、T5等，展现了强大的泛化能力和创造力。...
-
利用Lama Cleaner本地实现AIGC试玩：擦除对象、替换对象、更换风格等等
目录 一、安装 二、擦除功能 1. LaMa模型 实操实例一：去除路人 实操实例二：去水印 实操实例三：老照片修复 2. LDM模型 3. ZITS模型 4. MAT模型 5. FcF模型 6. Manga模型 三、替换对象功能 1....
-
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long
前言 关于位置编码和RoPE 应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transformer从零实现...
-
LLaMA, ChatGLM, BLOOM的参数高效微调实践
作者：回旋托马斯x（腾讯NLP算法工程师） 项目地址：https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大语言模型的训练分为两个阶段： （1）在海量文本语料上的无监督预训练，学习通用的语义表...
-
4、stable diffusion
github 安装anaconda环境 conda env create -f environment.yaml conda activate ldm 安装依赖 conda install pytorch==1.12.1 torchvision=...
-
深度学习实战29-AIGC项目：利用GPT-2(CPU环境)进行文本续写与生成歌词任务
大家好，我是微学AI，今天给大家介绍一下深度学习实战29-AIGC项目：利用GPT-2(CPU环境 进行文本续写与生成歌词任务。在大家没有GPU算力的情况，大模型可能玩不动，推理速度慢，那么我们怎么才能跑去生成式的模型呢，我们可以试一下GPT-2完成一些简...
-
LLaMa、Qwen、ChatGLM、ChatGLM2的区别
LLaMa、Qwen、ChatGLM、ChatGLM2的区别 以下比较的前提是首先和BERT(transfomer 的对比 感谢帮忙给我github repository的star，更多最新模型长期更新：https://github.com/zysN...
-
maui 调用文心一言开发的聊天APP 3
主要是对代码进行了优化 上一个版本写死了帐号跟密码 ，这一个帐本有户可以直接设置 对相关的key以及secret如果设置错时，在聊天中也会返回提示。 注册帐号时同时也设置了key及secrete 升级到了net.8.0 导出APK，上一个版本是导出a...
-
【AIGC】baichuan-7B大模型
百川智能｜开源可商用的大规模预训练语言模型baichuan-7B大模型 概述 baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持...
-
百度文心一言文心千帆大模型 ERNIE-Bot-turbo调用示例（golang版本）
百度的文心一言推出来也有一段时间了，但是接口部分一直没有公开，需要进行申请 最近，有朋友提供了文心千帆大模型的api权限，拿到了必须的参数，现在就来测试一下 下面是使用golang封装的文心千帆 ERNIE-Bot-turbo模型的调用示例...
-
Visual Studio Code 和 GitHub Copilot
翻译自 Chris Dias 的博客 AI 这个话题，近期我们看到它被大家广泛地谈论，有些人很兴奋，也有些人表达了担忧。进步几乎每天都在发生，速度前所未有。每天有超过一百万的 Copilot 用户，如果你有机会尝试，你可能也会认为这项技术并没有让人失望，...
-
Github Copilot 开始收费了, 帮你列出些替代的插件
今天打开 VSCode，弹出了Github Copilot 开始收费的通知 可以免费用到 8 月 22 日，每月 70 元还是有些小贵。 这里给大家推荐一些替代品： Kite https://www.kite.com/ TabNinehttp...
-
【AI大模型】Google Bard (PaLM2) 大模型写代码能力实测: LSM Tree, DAG Scheduler, AI大模型加持自然语言零代码平台设计（福利O：文末附PaLM2访问链接）
禅与计算机程序设计艺术评测结论：当前AI大模型写代码能力当之无愧的 No.1. Google Bard (PaLM2 文章目录 禅与计算机程序设计艺术评测结论：当前AI大模型写代码能力当之无愧的 No.1. Google Bard...
-
together.ai让AI模型训练快9倍，获NVIDIA参投1.025亿美元A轮融资
目前获得融资最多的两家大模型创业公司是OpenAI和Anthropic，而这两家公司最大的投资者分别是微软和亚马逊，他们投资的很大一部分不是资金，而是等值的云计算资源。这其实也就把这两家顶尖的闭源大模型公司“绑上了”科技巨头的“战车”。 在闭源大模型之外，...
-
大语言模型训练数据常见的4种处理方法
本文分享自华为云社区《浅谈如何处理大语言模型训练数据之一常见的数据处理方法》，作者： 码上开花_Lancer。 大语言模型训练需要数万亿的各类型数据。如何构造海量“高质量”数据对于大语言模型的训练具有至关重要的作用。虽然，截止到2023 年9 月为止，还...
-
DALL·E2(unCLIP)、Stable Diffusion、IS、FID要点总结
DALL·E 1 DALL·E 1可以看成是VQ-VAE和文本经过BPE编码得到的embedding AE（Auto Encoder） encoder decoder结构，AE在生成任务时只会模仿不会创造，所有有了后面的VAE VAE(Var...
-
推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」，2人公司估值3400万刀
像Pika一样的神级创业故事又要再次上演了？ 两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。 在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了E...
-
程序员撑过ChatGPT一周年！不仅没被取代，还把AI用得贼6：10分钟开发一个应用
不知不觉间，距离掀起全球新一轮 AI 革命的 ChatGPT 出道，已经过去一周年了。在这场颠覆性的 AI 革命中，许多企业和程序员们逐渐形成了一个共识:“不会用 AI 就将被淘汰”。 为了避免“被淘汰”，这一年来众多企业和程序员全力拥抱 AI、开发各种...
-
实测亚马逊 AI 编程助手 Amazon CodeWhisperer
文章目录 CodeWhisperer简介 安装CodeWhisperer PyCharm安装 CodeWhisperer体验 VSCode安装 CodeWhisperer快捷键 CodeWhisperer智能编码(pycharm版 单行...
-
保姆级讲解 Stable Diffusion
文章目录 整体代码 unet解析 self.input_blocks middle_blocks self.output_blocks 保姆级讲解 Stable Diffusion： https://mp.weixin.qq.c...
-
基于whisper的语音转文字（视频字幕）
由于之前在学习油管的视频的时候，发现没有字幕，自己的口语听力又不太好，所以，打算开发一个能够语音或者视频里面，提取出字幕的软件。 在寻找了很多的开源仓库，发现了openai早期发布的whisper 原仓库链接如下 openai/whisper: Ro...
-
手把手教你使用文心一言设计一个操作系统
一、使用文心一言克隆一个操作系统 1.功能介绍 挖掘一言能力，使用 langchain 结合一言超能力进行系统扮演，并完成相应操作。 2.思路 通过文心一言prompt构建一个Assistant智能系统 通过系统完成对应的操作 二、环境设置...
-
LLaMA模型之中文词表的蜕变
在目前的开源模型中，LLaMA模型无疑是一颗闪亮的⭐️，但是相对于ChatGLM、BaiChuan等国产大模型，其对于中文的支持能力不是很理想。原版LLaMA模型的词表大小是32K，中文所占token是几百个左右，这将会导致中文的编解码效率低。 在将LL...
-
AIGC｜超详细教程提升代码效率，手把手教你如何用AI帮你编程
目录 一、辅助编程 （一）代码生成 二、其他功能 （一）工具手册 （二）源码学习 （三）技术讨论 一、AI辅助编程 作为主要以 JAVA 语言为核心的后端开发者，其实，早些时间我也用过比如 Codota、Tabnine、Git...
-
【文心一言】使用飞桨 AI Studio 快速搭建，看图识猜成语应用
目录 一、背景 二、实践 三、创建应用 3.1、零代码开发 3.2、应用名称 3.2、模型训练 3.3、开始训练 四、应用部署 4.1、发布项目 4.2、搜索应用 4.3、应用部署 4.4、获取令牌 4.4、导入依赖 4.5、配置CO...
-
Amazon CodeWhisperer 开箱初体验
文章作者：Coder9527 科技的进步日新月异，正当人工智能发展如火如荼的时候，各大厂商在“解放”码农的道路上不断创造出各种 Coding 利器，今天在下就带大家开箱体验一个 Coding 利器： Amazon CodeWhisperer。...
-
2023.12.12最新源码及资源：使用Python构建与百度大模型(包括文心一言在内的18个语言模型)的交互式界面！！
#ps:12.12修复bug，部分模型不能回应的问题，资源已更新！ 在当前人工智能领域，通过与机器进行智能对话的能力变得越来越重要。本文将介绍如何使用Python编程语言和Tkinter库构建一个交互式界面，使用户能够与百度大模型进行智能对话，展...
-
OpenAI Whisper and ChatGPT 语音助手
OpenAI Whisper and ChatGPT ASR Gradio Web UI 一 环境准备 1.1 python 1.2 windows 二 导入所需要的包 三 加载模型 四 定义openai和whisper接口 五 生成Gra...
-
大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE
大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。 近日，滑铁...
-
AIGC: 关于ChatGPT中对输出文本进行审核
违禁词 与 logit_bias 参数 前文，通过GPT的API实现了一个简单的聊天机器人, 当然也可以做一些内容审核相关的应用 这里有一个非常核心，需要重点关注的一个方向，就是对于文本的审核 对于一些违禁词，我们需要准确的识别出来，避免出现...
-
微信公众号接入ChatGpt、文心一言等【完整流程】
关注公众号[桃李开发]体验效果 1. 首要条件： 公网服务器一台 公众号(订阅号、服务号都可 一个 注册LinkAI(有国外服务器的可不考虑使用 开源项目chatgpt-on-wechat 2.服务器选择 建议国外服务器，使用op...
-
AIGC专栏4——Stable Diffusion原理解析-inpaint修复图片为例
AIGC专栏4——Stable Diffusion原理解析-inpaint修复图片为例 学习前言 源码下载地址 原理解析 一、先验知识 二、什么是inpaint 三、Stable Diffusion中的inpaint 1、开源的inpain...
-
技术报告：Efficient and Effective Text Encoding for Chinese LLaMA AND Alpaca
技术报告：Efficient and Effective Text Encoding for Chinese LLaMA AND Alpaca Introduction Chinese LLaMA Chinese Alpaca Lora-Fin...
-
夸张！EMNLP投稿近5000篇，奖项出炉：北大、腾讯摘最佳长论文
EMNLP 是自然语言处理领域的顶级会议之一，EMNLP 2023 于 12 月 6 日 - 10 日在新加坡举行。 因为今年 ChatGPT 的爆火带动大模型、NLP 概念，EMNLP 2023 的投稿论文数量也达到近 5000 篇，甚至略高于 AC...
-
【多模态】5、BLIP | 统一理解与生成任务 为图像生成更高质量的文本描述
文章目录 一、背景 二、方法 2.1 模型结构 2.2 Pre-training Objectives 2.3 CapFilt 三、效果 3.1 训练细节 3.2 CapFilt 的效果 3.3 样本多样性是文本合成器的关键 3.4 参数...
-
Stable diffusion LoRA 训练过程
1、使用diffusers-0.14.0, stabel-diffusion 模型 v-1.5版本 下载diffusers-0.14.0 并解压，新建文件test.py, 写入以下： import torch from diffusers impor...
-
尝鲜 midjourney 体验生成 csdn logo
尝鲜 midjourney 体验生成 csdn logo 起因 准备 无目的的尝试经历 第一次尝试 注意到字母总是缺失 先跳过字母的问题，尝试一下其他提示 扩大提示范围 开始收束场景 和门较劲 再次去掉一些干扰 第一阶段尝试复盘 再次尝...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内，无论从数据量的维度还是从模型规模的维度，语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大，也...
-
国内AI顶会CPAL论文录用结果放出！共计30篇Oral和60篇Spotlight
大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。 这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘—— CPAL（Conference on Parsimony and Learning...
-
Transformer挑战者出现！斯坦福CMU联合团队，开源模型及代码，公司已创办
现在ChatGPT等大模型一大痛点： 处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑战者，引起大量关注： Mamba（曼巴，一种蛇），在语...
-
AI作画技术实践第二期｜用腾讯云智能图片融合优化AI绘画的效果
上一篇文章《AI作画技术实践第一期》提到用腾讯云智能能力如何实现简易版的AI画画，发布后受到大量网友关注，也在思考还能不能做出更好的效果。最近发现AI绘画玩法在短视频平台也掀起了一波热潮，结合在网上看到有一些很优秀的AI画画模型，也想尝试在上一篇的基础上做...
-
开源大模型框架llama.cpp使用C++ api开发入门
llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。 以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文...
-
Python从零开始进行AIGC大模型训练与推理
本专栏将详细介绍从零开始进行AIGC大模型训练与推理（Python），包括文本生成（GPT系列）和图片生成（Stable Diffusion系列）等，初步计划从以下提纲逐步进行博文分享，欢迎关注。 1 AIGC（人工智能生成）技术背景与发...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
进亦忧，退亦忧，Github Copilot 集成进入 Visual Studio 带来的思考
开篇想到《岳阳楼记》的结尾： 不以物喜，不以己悲；居庙堂之高则忧其民；处江湖之远则忧其君。是进亦忧，退亦忧。然则何时而乐耶？其必曰：“先天下之忧而忧，后天下之乐而乐”乎。 未来30年的开发变革，与过去30年相比，是指数函数才能勉强描述的趋势。有时候回...
-
[玩转AIGC]sentencepiece训练一个Tokenizer(标记器)
目录 一、前言 二、安装 三、自己训练一个tokenizer 四、模型运行 五、拓展 六、补充 一、前言 前面我们介绍了一种字符编码方式【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码（一） 这种方式是对一个一个...
-
辅助编程coding的两种工具：Github Copilot、Cursor
目录 Cursor 简介 下载地址： 使用技巧： CHAT: example 1： 注意： example 2： Github Copilot 官网 简介 以插件方式安装 pycharm 自动写代码 example 1：写一个mys...
-
百度商业AI 技术创新大赛赛道二：AIGC推理性能优化TOP10之经验分享
朋友们，AIGC性能优化大赛已经结束了，看新闻很多队员已经完成了答辩和领奖环节，我根据内幕人了解到，比赛的最终代码及结果是不会分享出来的，因为办比赛的目的就是吸引最优秀的代码然后给公司节省自己开发的成本，相当于外包出去了，应该是不会公开的。抱着技术共享及开...