-
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
Llama 2 发布！ Meta 刚刚发布了 LLaMa 2，它是 LLaMA 的下一代版本，具有商业友好的许可证。?? LLaMA 2 有 3 种不同的尺寸：7B、13B 和 70B。 7B & 13B 使用与 LLaMA 1 相同的架构，并且是...
-
stable-diffusion-webui部署
Stable Diffusion于2022-08-23开源，点击体验 扩散模型的定义与采样方法 扩散模型通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声，再通过定义了一个逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样。 在采样过程中，根据是...
-
Copilot 工作原理
Copilot 是如何工作的？它的背后算法是什么？ Copilot 的工作原理可以大致分为两个阶段：第一阶段是从海量代码库中抽取出有效的代码段和语句，这些代码段用于训练AI模型；第二阶段则是谷歌的自然语言处理技术和深度神经网络技术，将文本解析成进一步的代...
-
stable diffusion v1及v2版本 本地部署方法、踩坑
v1版本： 确保你至少有12G显存 git: GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion modelhttps://github.com/CompVis/s...
-
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身...
-
Peft库使用技巧（一）：合并基座模型与Lora模型【使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型】
使用Peft库微调基座模型（比如LLaMA-7B）后会得到Lora参数模块，将基座模型与Lora参数合并后才能得到完整的微调后的大模型 # Copyright 2023 Rohan Taori, Ishaan Gulrajani, Tianyi Z...
-
decapoda-research/llama-7b-hf 的踩坑记录
使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。 ValueError: Tokenizer class LLaMATokenizer does not exist or is not curre...
-
GPT被评选为瑞士年度词汇
根据瑞士苏黎世高级应用语言学部门的专家评审，以及通过计算机程序分析超过1.8百万份文本的结果，GPT（Generative Pre-trained Transformer）被选为瑞士年度词汇。 这一评选不仅由人类专家决定，还借助了计算机程序，分析了近976...
-
AIGC之GPT-4：GPT-4的简介与详细攻略
AIGC之GPT-4：GPT-4的简介与详细攻略 简介 欢迎来到人工智能生成内容（AIGC）时代的新篇章！本篇博客将介绍GPT-4（Generative Pre-trained Transformer 4）的核心原理、意义、亮点、技术点、缺点以及使...
-
一个提示，让Llama 2准确率飙至80.3%？Meta提出全新注意力机制S2A，大幅降低模型幻觉
2023的科技界，可以说是被大模型抢尽了风头（虚假的室温超导除外）。 我们经历了和LLM对话，见证了它们逐渐进入各个领域，甚至开始感受到威胁。 这一切，仅仅发生在一年之内。 当然了，基于大语言模型的原理，它诞生之时就有的一些毛病到现在也没有完全改正。 比...
-
Hugging Face CEO预测：2024年AI行业六大巨变！
Hugging Face CEO预测2024年，AI行业将出现6大变化，第一条就绷不住了:Hugging Face将破产? 2024年，AI行业将会进化成什么样? OpenAI主席Greg Brockman曾经在去年最后一天预测:2023年会让2022年看...
-
通过 Amazon SageMaker JumpStart 部署 Llama 2 快速构建专属 LLM 应用
来自 Meta 的 Llama 2 基础模型现已在 Amazon SageMaker JumpStart 中提供。我们可以通过使用 Amazon SageMaker JumpStart 快速部署 Llama 2 模型，并且结合开源 UI 工具...
-
TS版LangChain实战：基于文档的增强检索（RAG） | 京东云技术团队
LangChain LangChain是一个以 LLM （大语言模型）模型为核心的开发框架，LangChain的主要特性： 可以连接多种数据源，比如网页链接、本地PDF文件、向量数据库等 允许语言模型与其环境交互 封装了Model I/O（输...
-
FlashOcc：占用预测新思路，精度、效率和内存占用新SOTA！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin 论文链接：https...
-
AIGC Stable Diffusion WebUI windows安装指南
安装电脑配置要求： NVIDIA显卡 显存>=4G（越大越好） 安装需要软件： git python cuda stable-diffusion-webui 梯子（魔法上网） 安装步骤： git安装 下载地...
-
在少样本学习中，用SetFit进行文本分类
译者 | 陈峻 审校 | 重楼 在本文中，我将向您介绍“少样本（Few-shot）学习”的相关概念，并重点讨论被广泛应用于文本分类的SetFit方法。 传统的机器学习（ML） 在监督（Supervised）机器学习中，大量数据集被用于模型训练，以便...
-
diffusers库中stable Diffusion模块的解析
diffusers库中stable Diffusion模块的解析 diffusers中，stable Diffusion v1.5主要由以下几个部分组成 Out[3]: dict_keys(['vae', 'text_encoder', 'token...
-
QQGC？揭秘QQ的AI绘画大模型技术
?腾小云导读 2022年来，AIGC概念迅速出圈并快速形成产业生态，成为继PGC、UGC之后新的数字内容创作形式。QQ影像中心提出了自研的AI画画技术方案——QQGC，本文将介绍在QQGC基础大模型训练中的实践和探索，接着往下看吧~...
-
【城南】如何识别AI生成图？视觉AIGC伪造检测技术综述
图片无法加载可参考阅读：知乎文章 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ry2Qw8uO-1685675351028 (https://r3mu87a8e6.feishu.cn/space/api/box/stre...
-
DALLE2论文解读及实现(一)
DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents paper: https://cdn.openai.com/papers/dall-e-2.pdf githu...
-
IDEA提出ToG思维图谱 大模型性能提升214%！
近期，由IDEA研究院、微软亚洲研究院、香港科技大学等多方研究团队合作推出的Think-on-Graph技术，在深度推理领域掀起了一场革新。这一技术通过紧耦合大模型（LLM）与知识图谱(KG ，成功弥补了大模型在金融、法律、医疗等领域幻觉问题上的能力短板。...
-
Llama 及 中文Alpaca模型部署测试
环境： Xeon E5-2680v4 16C 40G RAM WinServer 2019 Standard Edition Python 3.10 依赖库: accelerate==0.18.0 anyio==3.5.0 argon2-c...
-
AI视野：Azure AI新增40种大模型；Yi-34B-Chat微调模型开源；GPT-4在图灵测试中成功率超过41%；微软谷歌推出AI入门课程
???AI新鲜事 微软Azure AI新增40种大模型 微软宣布在Azure AI云开发平台中新增40个大模型，包括Whisper V3、Stable Diffusion、Phi、Falcon、SAM、CLIP、Code Llama等，支持文本生成、图像处...
-
分享10款免费好用的AI写作工具
随着人工智能技术的不断发展，越来越多的AI写作工具涌现出来，为创作者们提供了便捷的写作体验。无论是商业文案、创意写作还是学术论文，这些免费好用的AI写作工具都能为您的创作过程带来帮助。以下是10款值得一试的免费AI写作工具，附带它们的网址，方便您快速体验：...
-
单个A100生成3D图像只需30秒，这是Adobe让文本、图像都动起来的新方法
2D 扩散模型极大地简化了图像内容的创作流程，2D 设计行业也因此发生了变革。近来，扩散模型已扩展到 3D 创作领域，减少了应用程序（如 VR、AR、机器人技术和游戏等）中的人工成本。有许多研究已经对使用预训练的 2D 扩散模型，生成具有评分蒸馏采样（S...
-
【多模态】3、CLIP | OpenAI 出品使用 4 亿样本训练的图文匹配模型
文章目录 一、背景 二、方法 2.1 使用自然语言来监督训练 2.2 建立一个超大数据集 2.3 选择预训练的方式——对比学习而非预测学习 2.4 模型缩放和选择 三、效果 四、思考 论文：Learning Transferabl...
-
简单科普 AI AIGC AGI ChatGPT 分别是什么？
AI AI，全名 “Artificial Intelligence”，中文为人工智能。 它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 AIGC AIGC，全名 “AI Generated...
-
使用stable diffusion生成图片
准备 硬件：有GPU的主机，显存6G+ 系统：windows10 或者 ubuntu 20.04 软件: anaconda 1.下载安装anaconda wget https://repo.anaconda.com/a...
-
大...大义灭亲？谷歌AI判定：美国登月照系伪造
1969年阿波罗11号成功登陆月球，阿姆斯特朗说出了那句至今让无数人记忆犹新的话“这是我个人的一小步，却是全人类的一大步”。 现在，故事出现了反转….. 在俄罗斯的一个科技展上，美国谷歌的人工智能通过神经网络对美国登月照片进行了大量分析，包括光的明暗对比...
-
更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%
关于大模型注意力机制，Meta又有了一项新研究。 通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。 而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。 作者把这种注意力机制命名为“System 2...
-
ChatGPT vs AutoGPT：比较顶级语言模型
理解 ChatGPT 由 OpenAI 开发的 ChatGPT 是一种语言模型，旨在根据接收到的输入生成类似于人类的文本。它使用一种称为 Transformer 的机器学习技术，使其能够生成连贯且与上下文相关的响应。 ChatGPT 的一个关键功能是它能...
-
在GPU云服务器中部署Stable Diffusion web UI
在GPU云服务器中部署Stable Diffusion web UI 1. 前言 2. 关于云服务器的选择 3. 关于机器的选择 4. 部署Stable Diffusion Python和CUDA 检查pip源 下载Stable Diffus...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理
前几天，Meta 发布了 LIMA 大模型，在LLaMA-65B的基础上，无需使用 RLHF，只用了 1000 个精心准备的样本数据进行微调，就达到了和 GPT-4 相媲美的程度。这激发了我探索 LLaMA 65B 大模型的兴趣。 之前的一系列大模型相...
-
大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明
大家好，我是微学AI，今天给大家讲一下大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明。在大规模语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义模式，并通过微调的方式一致地提高各种NLP...
-
南开&山大&北理工团队开发trRosettaRNA：利用Transformer网络自动预测RNA 3D结构
RNA 3D 结构预测是一个长期存在的挑战。 受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，这是一种基于深度学习的自动化 RNA 3D 结构预测方法。 trRosettaRNA 流程包括...
-
如何本地部署基于stable-diffusion的AI绘画（jupyter，python实现，详细，附代码）
基于stable - diffusion 的本地部署AI绘画教程 自从Stable Diffusion 1.0模型发布以来，“AI文本图片生成”真正的变成普通人也能使用的技术。同时各种国内外AI绘图软件，也不断频繁更新，AI绘画的关注度也越来越高...
-
Stable Diffusion搭建全过程记录，生成自己的专属艺术照
引言 最近硅星人多次报道过 AI 图片生成技术，提到过 DALL·E、Midjourney、DALL·E mini（现用名 Craiyon）、Imagen、TikTok AI绿幕等知名产品。实际上，Stable Diffusion 有着强大的生成...
-
预测token速度翻番！Transformer新解码算法火了，来自小羊驼团队
小羊驼团队的新研究火了。 他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。 比如这是同一个模型（LLaMa-2-Chat 7B）面对同一个用户提问（苏格拉底采用了哪些方法来挑战他那个时代的主...
-
「GPT-4只是在压缩数据」，马毅团队造出白盒Transformer，可解释的大模型要来了吗？
RNA3D 结构预测是一个长期存在的挑战。 受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，这是一种基于深度学习的自动化 RNA3D 结构预测方法。 trRosettaRNA 流程包括两个主...
-
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
接着之前文章《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 写在前面 前几天，在知乎上看到《如何评价 LLaMA 模型泄露？》问题...
-
AIGC 文生图及 stable diffusion webui 练习笔记
文章目录 环境要求 一. stable-diffusion-webui 安装 windows/linux 安装 docker 容器内安装 二. 运行 web-ui 插件安装 civitai helper additional netwo...
-
AI 绘画Stable Diffusion 研究（十五）SD Embedding详解
大家好，我是风雨无阻。 本期内容： Embedding是什么？ Embedding有什么作用？ Embedding如何下载安装？ 如何使用Embedding？ 大家还记得 AI 绘画Stable Diffusion 研究（七） 一文读懂 Stabl...
-
每日学术速递1.30
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 更多Ai资讯： 今天带来的arXiv上最新发表的3篇文本图像的生成论文。 Subjects: cs.LG、cs.Cv、cs.AI、c...
-
基于Stable Diffusion的图像合成数据集
当前从文本输入生成合成图像的模型不仅能够生成非常逼真的照片，而且还能够处理大量不同的对象。 在论文“评估使用稳定扩散生成的合成图像数据集”中，我们使用“稳定扩散”模型来研究哪些对象和类型表现得如此逼真，以便后续图像分类正确地分配它们。 这使我们能够根据现实...
-
大模型之Bloom&LLAMA----Pre-Training(二次预训练)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
xFormers安装使用
xFormers是一个模块化和可编程的Transformer建模库，可以加速图像的生成。 这种优化仅适用于nvidia gpus，它加快了图像生成，并降低了vram的使用量，而成本产生了非确定性的结果。 下载地址： https://github.co...
-
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架 的简介、安装、案例实战应用之详细攻略 导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的...
-
【网安AIGC专题11.1】11 Coreset-C 主动学习：特征选择+11种采样方法+CodeBERT、GraphCodeBERT+多分类(问题分类)二元分类(克隆检测)非分类任务(代码总结)
Active Code Learning: Benchmarking Sample-Efficient Training of Code Models 写在最前面 论文名片 先验知识的补充 主动学习 采样函数 benchmark基准和base...
-
Meta AI研究团队新AI模型： Llama 2 大语言模型
Llama是Facebook Research团队开发的基础语言模型集，旨在提供广泛的语言理解能力。它基于转换器架构，参数范围从7B到65B。通过使用Llama模型，研究人员和开发人员可以构建更先进的自然语言处理系统。您可以在GitHub上找到相关的代...