-
「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（multi-modal contrastive representation, MCR）的目标是将不同模态的输入编码到一个语义对齐的共享空间中。 随着视觉-语言领域中CLIP模型的巨大成功，更多模态上的对比表征开始涌现出来，并在诸多下游任...
-
GitHub Copilot使用指南
GitHub Copilot 是由 GitHub 开发的 AI 编程插件，GitHub Copilot 由 OpenAI Codex 提供支持，OpenAI Codex 是一种由 OpenAI 创建的生成式预训练语言模型，可根据评论和代码的上下文提供上下文...
-
获得GitHub Copilot并结合VS Code使用
一·、什么是GitHub Copilot GitHub Copilot是一种基于AI的代码生成工具。它使用OpenAI的GPT（生成式预训练Transformer）技术来提供建议。它可以根据您正在编写的代码上下文建议代码片段甚至整个函数。 要使用Gi...
-
LLaMA长度外推高性价比trick：线性插值法及相关改进源码阅读及相关记录
前言 最近，开源了可商用的llama2，支持长度相比llama1的1024，拓展到了4096长度，然而，相比GPT-4、Claude-2等支持的长度，llama的长度外推显得尤为重要，本文记录了三种网络开源的RoPE改进方式及相关源码的阅读。 关于长...
-
SDXL-Stable Diffusion改进版
文章目录 1. 摘要 2. 算法： 2.1 结构： 2.2 微小的条件机制 2.3 多宽高比训练 2.4 改进自编码器 2.5 所有组合放到一起 2.6 主流方案比较 3. 未来工作 4. 限制 论文： 《SDXL: Improv...
-
文心一言发布我怎么看?
文心一言发布我怎么看? 文心一言发布会 我只简短的回答两个问题: 补充： 文心一言发布会 有想看发布会视频的朋友,关注爱书不爱输的程序猿,私信找我拿 我只简短的回答两个问题: 1.文心一言能否为百度止颓？...
-
AIGC：【LLM（一）】——LoRA微调加速技术
文章目录 一.微调方法 1.1 Instruct微调 1.2 LoRA微调 二.LoRA原理 三.LoRA使用 一.微调方法 Instruct微调和LoRA微调是两种不同的技术。 1.1 Instruct微调 Instr...
-
stable diffusion实践操作-常见lora模型介绍
系列文章目录 本文专门开一节写Lora相关的内容，在看之前，可以同步关注：stable diffusion实践操作 文章目录 系列文章目录 前言 一、什么是lora? 1.1 lora 定义 1.2 lora的基本原理 1.2 通...
-
暂停ChatGPT Plus注册，OpenAI面临容量挑战
11月16日消息，据外媒报道，OpenAI首席执行官Sam Altman日前表示，DevDay开发者大会之后，ChatGPT的使用量激增，这给ChatGPT带来了容量挑战。对此，OpenAI决定暂时停止ChatGPT Plus的注册，以解决这些问题，并...
-
大模型「幻觉」，看这一篇就够了
大模型“幻觉”，终于有系统综述了！ 一口气49页，详细阐述了幻觉定义、分类、导致幻觉的原因，还有检测幻觉、减轻幻觉的方法。 这篇最新综述来自哈工大和华为，一po出就在网上火得不行： 具体来说，文中用一套新的范畴框架来定义模型幻觉，并将其分为事实性幻觉、...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
13B模型全方位碾压GPT-4？这背后有什么猫腻
一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。 如果你细细查看图中的模型，发现只要带有「rephraser」这个单词...
-
写作AI软件哪个好用？安利三个AI写作生成器
曾经，写作是一项需要长时间学习和不断磨练的技能。但如今，随着写作AI软件的出现，任何人都可以轻松地创造出优秀的文章。这些软件通过深度学习算法和自然语言处理技术，将人工智能与写作完美结合，让写作变得更加简单高效。那你们知道写作AI软件哪个好用吗？下面...
-
基于文档的智能问答系统
基于文档的问答系统（Document-Based Question Answering System）是一种自然语言处理技术，用于回答用户提出的问题。它的原理是通过分析文档中的内容，提取出与用户问题相关的信息，并将其转换成可回答问题的格式。 ChatGP...
-
Meta生成式AI连放大招：视频生成超越Gen-2，动图表情包随心定制
提到视频生成，很多人首先想到的可能是 Gen-2、Pika Labs。但刚刚，Meta 宣布，他们的视频生成效果超过了这两家，而且编辑起来还更加灵活。 这个「吹小号、跳舞的兔子」是 Meta 发布的最新 demo。从中可以看出，Meta 的技术既支...
-
Stable Diffusion 原理介绍与源码分析（一）
Stable Diffusion 原理介绍与源码分析（一） 文章目录 Stable Diffusion 原理介绍与源码分析（一） 前言（与正文无关，可以忽略） 总览 说明 Stable Diffusion 整体框架 重要论文 重要组成...
-
使用代码下载开源的大模型文件示例以及中文微调llama资源汇总：
一、下载示例 from huggingface_hub import snapshot_download repo_id = "THUDM/chatglm2-6b" local_dir = './chatglm2-6b/' cache_dir = l...
-
LLaMA-7B微调记录
Alpaca（https://github.com/tatsu-lab/stanford_alpaca）在70亿参数的LLaMA-7B上进行微调，通过52k指令数据（https://github.com/tatsu-lab/stanford_alpaca/...
-
什么是 AIGC，只能用于 AI 绘画吗？
2023 年，像是技术井喷的一年，在上半年的时间里，尤其是人工智能领域，大模型 ChatGPT 的爆火，随之让普罗大众了解到 AIGC（Artificial Intelligence Generated Content，生成式人工智能），但对于 AIGC...
-
Insight量子位智库 ✪ AIGC/Al生成内容产业展望报告
AIGC全称为 Al-Generated Content，指基于生成对抗网络GAN、大型预训练模型等人工智能技术，通过已有数据寻找规律，并通过适当的泛化能力生成相关内容的技术。与之相类似的概念还包括Synthetic media，合成式媒体，主要指基...
-
【NLP】Llama & Alpaca大模型
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，...
-
英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍、8GB 以上显卡可本地运行，支持 OpenAI 的 Chat API
11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。 IT之家今年 10 月报道，英伟达面向数据中心和 Windows...
-
【2023云栖】黄博远：阿里云人工智能平台PAI年度发布
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：黄博远 | 阿里云计算平台事业部资深产品专家、阿里云人工智能平台PAI产品负责人 演讲主题：阿里云人工智能平台PAI年度发布 AIGC是我们这个时代的新机遇 今年云栖大会，阿里云机器...
-
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
源码链接 https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/foundation/LLaMA-13B LLaMA-7B/13B for PyTorch...
-
戳穿人工智能的六个谎言：辨别真伪
译者 | 布加迪 审校 | 重楼 人工智能（AI）无疑是我们这个时代的流行语。特别是随着ChatGPT等生成式AI应用程序的出现，AI大受欢迎，成为了技术大辩论的核心话题。 所有人都在谈论像ChatGPT这样的生成式AI应用程序的影响以及利用它们的能力...
-
AI绘画使用Stable Diffusion（SDXL）绘制中国古代神兽
一、引言 说到神奇异兽，脑海中首先就会跳出我国古代神话传说中的各种神兽。比如青龙、白虎、朱雀、玄武，再比如麒麟、凤凰、毕方、饕餮等等，这些都是大家耳熟能详的的神兽。 这些神兽不仅体现了人们丰富的创造力和想象力，更是我国传统文化中的重要元素。 那么这...
-
足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼
之前尝试了从0到1复现斯坦福羊驼（Stanford Alpaca 7B），Stanford Alpaca 是在 LLaMA 整个模型上微调，即对预训练模型中的所有参数都进行微调（full fine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效...
-
AIGC入门 - LLM 信息概览
在阅读本文之前，建议阅读文章：《GPT，GPT-2，GPT-3，InstructGPT的进化之路》 本文将介绍以下 LLM OPT LLaMa Alpaca Vicuna Moss chatGLM Baichuan Openbuddy 一、OPT...
-
AIGC视频生成/编辑技术调研报告
人物AIGC：FaceChain人物写真生成工业级开源项目，欢迎上github体验。 简介： 随着图像生成领域的研究飞速发展，基于diffusion的生成式模型取得效果上的大突破。在图像生成/编辑产品大爆发的今天，视频生成/编辑技术也引起了学术界和产...
-
Google Cloud 推出 Vertex AI 新的数据存储位置功能
Google 云服务部今日宣布，为其全套管理型人工智能开发服务 Vertex AI 引入了新的数据存储位置功能。 在诸如金融、医疗等受严格监管的行业中，企业通常需要将数据存储在产生数据的国家或地区。Google Cloud 推出的这一新功能正是为了满足这...
-
实时文生图速度提升5-10倍，清华LCM/LCM-LoRA爆火，浏览超百万
文生图、图生图已经不是什么新鲜事。但在使用这些工具的过程中，我们发现它们通常运行缓慢，导致我们要等一段时间才能拿到生成结果。 但最近，一种名叫「LCM」的模型改变了这种情况，它甚至能做到实时的连续生图。 图源：https://twitter.com/...
-
Yolo V8：深入探讨其高级功能和新特性
Yolo是一种计算机视觉模型，被广泛认为是目前最强大和最知名的模型之一。这一突破性技术被称为Yolo，它是“You Only Look Once”的缩写，是一种以几乎瞬间处理速度检测物体的方法。Yolo V8技术是这一技术的最新版本，也是对之前版本的一种...
-
微软用GPT-4V解读视频，看懂电影还能讲给盲人听，1小时不是问题
世界各地的人们每天都会创造大量视频，包括用户直播的内容、短视频、电影、体育比赛、广告等等。 视频是一种多功能媒介，可以通过文本、视觉和音频等多种模态传递信息和内容。如果可以开发出能学习多模态数据的方法，就能帮助人们设计出具备强大能力的认知机器 —— 它不...
-
大模型幻觉排行榜GPT-4夺冠，英伟达科学家强力打假！Meta版ChatGPT一作发长文鸣冤
大模型的幻觉问题，是业内老生常谈的话题了。 最近，一个名为Vectara的机构，在GitHub推出了一个大模型幻觉排行榜。 结果显示，在总结短文档方面，GPT-4的表现最为优异，而Google Palm的两款模型直接垫底！ 其中GPT-4的准确率为97...
-
成本2元开发游戏，最快3分钟完成！全程都是AI智能体“打工”，大模型加持的那种
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发;后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来! 只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。 例如开发一个红包雨的小软件，现...
-
微软推出 XOT 方法，提升语言模型推理能力
11 月 15 日消息，微软近日推出了名为“Everything of Thought”（XOT）的方法，灵感来自谷歌 DeepMind 的 AlphaZero，利用紧凑的神经网络，来增强 AI 模型推理能力。 微软和佐治亚理工学院、华东师范大学...
-
S-LoRA：一个GPU运行数千大模型成为可能
一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用...
-
LLM幻觉问题全梳理！哈工大团队50页综述重磅发布
幻觉，老朋友了。 自打LLM进入我们的视野，幻觉问题就一直是一道坎，困扰着无数开发人员。 当然，有关大语言模型幻觉的问题已经有了无数研究。 最近，来自哈工大和华为的团队发表了一篇50页的大综述，对有关LLM幻觉问题的最新进展来了一个全面而深入的概述。 这...
-
最新本地大模型进展#Chinese-LLaMA-2支持16k长上下文
Hi，今天为大家介绍最新的本地中文语言模型进展。 [2023/08/25] Chinese-LLaMA-2发布了新的更新： 长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16...
-
国产AI大模型：智谱清言 vs. 文心一言
今年以来，国产AI大模型如雨后春笋般涌现，呈现出“百模齐出”的盛况。其中智谱清言在百模大战中脱颖而出。智谱清言基于智谱AI自主研发的中英双语对话模型ChatGLM2，通过万亿字符的文本与代码预训练，结合有监督微调技术，以通用对话的产品形态成为更懂用户的智能...
-
最详细的Ubuntu服务器搭建Stable-Diffusion教程（无显卡，仅用CPU）
1. 首先安装基本工具 # 安装python环境 sudo apt install wget git 若已经安装过请忽略 2. 安装miniconda（也可以自己下载python） 下载最新的安装包 wget https://repo.an...
-
基于LLaMA却改张量名，李开复公司大模型引争议，官方回应来了
前段时间，开源大模型领域迎来了一个新的模型 —— 上下文窗口大小突破 200k，能一次处理 40 万汉字的「Yi」。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建，包括了 Yi-6B 和 Yi-34B 两个版本。 根据 H...
-
被OpenAI带火的Agent如何解放人力？清华等发布ProAgent
项目地址：https://github.com/OpenBMB/ProAgent 论文地址：https://github.com/OpenBMB/ProAgent/blob/main/paper/paper.pdf 在历史的长河中，自动化是人类技术...
-
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又...
-
中国AIGC数据标注全景报告：百亿市场规模，百万就业缺口
数据标注，正迎来关键洗牌时刻。 大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘—— 大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化的场景数据密不可分。...
-
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
简介 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇...
-
企业对生成式AI的投资低得惊人 在云支出中占比不到1%
2023年，生成式AI备受关注，被认为是能够在多个领域实现变革的突破性技术，甚至被寄予改变人类生活的希望。然而，Menlo Ventures报告显示，尽管生成式AI在2023年取得突破，但这主要是一场炒作。 报告指出，生成式AI在企业云支出中所占比例“相对...
-
网易云音乐推荐系统的冷启动技术
一、问题背景：冷启动建模的必要性和重要性 作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的...
-
中文版开源Llama 2同时有了语言、多模态大模型，完全可商用
可以说，AI 初创公司 LinkSoul.Al 的这些开源项目让海外开源大模型在国内的普及和推广速度与国际几乎保持了一致。 7 月 19 日，Meta 终于发布了免费可商用版本 Llama 2，让开源大模型领域的格局发生了巨大变化。 Llama 2 模...