-
大模型幻觉排行榜GPT-4夺冠，英伟达科学家强力打假！Meta版ChatGPT一作发长文鸣冤
大模型的幻觉问题，是业内老生常谈的话题了。 最近，一个名为Vectara的机构，在GitHub推出了一个大模型幻觉排行榜。 结果显示，在总结短文档方面，GPT-4的表现最为优异，而Google Palm的两款模型直接垫底！ 其中GPT-4的准确率为97...
-
成本2元开发游戏，最快3分钟完成！全程都是AI智能体“打工”，大模型加持的那种
家人们，OpenAI前脚刚发布自定义GPT，让人人都能搞开发;后脚国内一家大模型初创公司也搞了个产品，堪称重新定义开发——让AI智能体们协作起来! 只需一句话，最快3分钟不到，成本也只要2元多，“啪~”，一个软件就开发完了。 例如开发一个红包雨的小软件，现...
-
微软推出 XOT 方法，提升语言模型推理能力
11 月 15 日消息，微软近日推出了名为“Everything of Thought”（XOT）的方法，灵感来自谷歌 DeepMind 的 AlphaZero，利用紧凑的神经网络，来增强 AI 模型推理能力。 微软和佐治亚理工学院、华东师范大学...
-
S-LoRA：一个GPU运行数千大模型成为可能
一般来说，大语言模型的部署都会采用「预训练 — 然后微调」的模式。但是，当针对众多任务（如个性化助手）对 base 模型进行微调时，训练和服务成本会变得非常高昂。低秩适配（LowRank Adaptation，LoRA）是一种参数效率高的微调方法，通常用...
-
LLM幻觉问题全梳理！哈工大团队50页综述重磅发布
幻觉，老朋友了。 自打LLM进入我们的视野，幻觉问题就一直是一道坎，困扰着无数开发人员。 当然，有关大语言模型幻觉的问题已经有了无数研究。 最近，来自哈工大和华为的团队发表了一篇50页的大综述，对有关LLM幻觉问题的最新进展来了一个全面而深入的概述。 这...
-
最新本地大模型进展#Chinese-LLaMA-2支持16k长上下文
Hi，今天为大家介绍最新的本地中文语言模型进展。 [2023/08/25] Chinese-LLaMA-2发布了新的更新： 长上下文模型Chinese-LLaMA-2-7B-16K和Chinese-LLaMA-2-13B-16...
-
国产AI大模型：智谱清言 vs. 文心一言
今年以来，国产AI大模型如雨后春笋般涌现，呈现出“百模齐出”的盛况。其中智谱清言在百模大战中脱颖而出。智谱清言基于智谱AI自主研发的中英双语对话模型ChatGLM2，通过万亿字符的文本与代码预训练，结合有监督微调技术，以通用对话的产品形态成为更懂用户的智能...
-
最详细的Ubuntu服务器搭建Stable-Diffusion教程（无显卡，仅用CPU）
1. 首先安装基本工具 # 安装python环境 sudo apt install wget git 若已经安装过请忽略 2. 安装miniconda（也可以自己下载python） 下载最新的安装包 wget https://repo.an...
-
基于LLaMA却改张量名，李开复公司大模型引争议，官方回应来了
前段时间，开源大模型领域迎来了一个新的模型 —— 上下文窗口大小突破 200k，能一次处理 40 万汉字的「Yi」。 这个大模型由创新工场董事长兼 CE0 李开复创立的大模型公司「零一万物」构建，包括了 Yi-6B 和 Yi-34B 两个版本。 根据 H...
-
被OpenAI带火的Agent如何解放人力？清华等发布ProAgent
项目地址：https://github.com/OpenBMB/ProAgent 论文地址：https://github.com/OpenBMB/ProAgent/blob/main/paper/paper.pdf 在历史的长河中，自动化是人类技术...
-
神经网络中的量化与蒸馏
本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又...
-
中国AIGC数据标注全景报告：百亿市场规模，百万就业缺口
数据标注，正迎来关键洗牌时刻。 大模型时代到来，以数据为中心的AI开发模式加速走向台前，数据的价值从未向今天这样被充分挖掘—— 大模型从训练到部署应用迭代，AIGC众多垂直场景落地，通用智能、具身智能等前沿领域探索，都与高质量、专业化的场景数据密不可分。...
-
LLM系列 | 19 : Llama 2实战(上篇)-本地部署(附代码)
简介 小伙伴们好，我是《小窗幽记机器学习》的小编：卖热干面的小女孩。紧接前文：万字长文细说ChatGPT的前世今生，后续会尝试以理论+实践的方式逐步对主流的各大LLM进行实测和汉化。今天这篇关于Llama2的小作文其实比较长，所以分为上下两篇，上篇...
-
企业对生成式AI的投资低得惊人 在云支出中占比不到1%
2023年，生成式AI备受关注，被认为是能够在多个领域实现变革的突破性技术，甚至被寄予改变人类生活的希望。然而，Menlo Ventures报告显示，尽管生成式AI在2023年取得突破，但这主要是一场炒作。 报告指出，生成式AI在企业云支出中所占比例“相对...
-
网易云音乐推荐系统的冷启动技术
一、问题背景：冷启动建模的必要性和重要性 作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的...
-
中文版开源Llama 2同时有了语言、多模态大模型，完全可商用
可以说，AI 初创公司 LinkSoul.Al 的这些开源项目让海外开源大模型在国内的普及和推广速度与国际几乎保持了一致。 7 月 19 日，Meta 终于发布了免费可商用版本 Llama 2，让开源大模型领域的格局发生了巨大变化。 Llama 2 模...
-
私人定制AI绘画——快速finetune stable diffusion教程
最近AI绘图非常火，只需要输入文本就能得到令人惊艳的图。 举个例子，输入 “photo of a gorgeous young woman in the style of stefan kostic and david la chapelle, coy,...
-
自动代码Copilot背后的模型
文章目录 1.引入 2.评估框架 3.评估数据集 4.模型方法 5.实验结果 6.总结 7.参考 之前，我已经介绍过Github发布的自动代码Copilot的使用方法，感兴趣的可以看这篇文章：Copilot要收费了？ 今天主要介绍一...
-
[大模型] 搭建llama主流大模型训练环境
关键词：大模型，LLAMA，CUDA，模型训练 1. 基础环境 OS： Ubuntu 18.04GPU： 4*A100(40G (单机4卡A100 40G CUDA：11.7cuDNN： 8.4.1 (需要登录官网后下载 nccl： 2.12.12...
-
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
LoRAShear是微软为优化语言模型模型(llm 和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复...
-
详解超强ResNet变体NFNet：抛弃归一化后，性能却达到了最强！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 从上古时期一直到今天，Batch Norm (BN 一直都是视觉骨干架构里面很重要的一个环节。BN 使得研究人员可以训练更深的网络，并在训练集和测试集上实现更高的精度。Batch Norm 还可以平...
-
LLaMA系列 | LLaMA和LLaMA-2精简总结
文章目录 1、LLaMA 1.1、模型结构 1.2、训练方式 1.3、结论 2、LLaMA-2 2.1、相比LLaMA1的升级 2.3、模型结构 2.3.1、MHA, MQA, GQA区别与联系 2.4、训练方式 1、L...
-
AI图像生成模型LCMs: 四个步骤就能快速生成高质量图像的新方法
在最新的AI模型和研究领域，一种名为Latent Consistency Models（LCMs）的新技术正迅速推动文本到图像人工智能的发展。与传统的Latent Diffusion Models(LDMs 相比，LCMs在生成详细且富有创意的图像方面同样...
-
面向企业的人工智能应用程序开发指南
如果开始深入研究人工智能应用程序开发过程，首先要了解这些项目与常规应用程序开发项目有何不同。谈到人工智能，每个问题都需要一个独特的解决方案，即使企业已经开发了类似的项目。一方面，有多种预训练模型和经过验证的方法可用于构建人工智能。此外，人工智能是独一无二...
-
语言作“纽带”，拳打脚踢各模态，超越Imagebind
北大联合腾讯打造了一个多模态15边形战士！ 以语言为中心，“拳打脚踢”视频、音频、深度、红外理解等各模态。 具体来说，研究人员提出了一个叫做LanguageBind的多模态预训练框架。 用语言作为与其它模态之间的纽带，冻结语言编码器，然后用对比学习方法...
-
斯坦福提出对比偏好学习：无需强化学习即可从人类反馈中学习
在模型与人类意图对齐方面，根据人类反馈的强化学习（RLHF）已经成为一大流行范式。通常来说，RLHF 算法的工作过程分为两个阶段：一、使用人类偏好学习一个奖励函数；二、通过使用强化学习优化所学习的奖励来对齐模型。 RLHF 范式假定人类偏好的分布遵照奖励...
-
能跟「猫主子」聊天了！生成式AI带来的全面革命：最快五年内破译第一种动物语言
所罗门能够与动物交流并不是因为他拥有魔法物品，而是因为他有观察的天赋。 ——康拉德・劳伦兹《所罗门王的指环》 在《狮子王》、《疯狂动物城》等以动物为中心的作品中，作者...
-
Stable Diffusion云端部署流程与注意点
前言 在今天的大数据时代，AI绘图是企业必备的重要工具之一。而Stable Diffusion作为一款部署的AI绘图，得到了很多企业和团队的认可。在使用Stable Diffusion的过程中，云部署是一个非常重要的话题，本文将详细介绍Stable Di...
-
解锁 PaddleOCR 的超能力
光学字符识别（OCR）是一项强大的技术，使机器能够从图像或扫描文档中识别和提取文本。OCR 在各个领域都有应用，包括文件数字化、从图像中提取文本以及基于文本的数据分析。在本文中，我们将探讨如何使用 PaddleOCR，一款基于深度学习的先进OCR工具包，...
-
Stable Diffusion超详细教程！从0-1入门到进阶
一、本地部署 Stable Diffusion 前言 目前市面上比较权威，并能用于工作中的AI绘画软件其实就两款。一个叫Midjourney（简称MJ），另一个叫Stable-Diffusion（简称SD）。MJ需要付费使用，而SD开源免费，但是上...
-
【网安AIGC专题10.11】2 ILF利用人类编写的 自然语言反馈 来训练代码生成模型：自动化反馈生成+多步反馈合并+处理多错误反馈+CODEGEN -M ONO 6.1 B model
Improving Code Generation by Training with Natural Language Feedback 写在最前面 主要工作 启发 背景介绍 应用 现有工作的不足 Motivation动机 方法 ILF...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
【AIGC】BaiChuan7B开源大模型介绍、部署以及创建接口服务
模型介绍 baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构，在大约1.2万亿tokens上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威benchmark（C-EV...
-
Meta 推出的 LLaMA 大语言模型部署教程
Facebo推出的LLaMA模型 简介： LLaMA（Lager Language Model From Meta），这是一个从7B到65B参数的基础语言模型的集合。它在数万亿的文本tokens上训练的模型，并表明在不求助于专有和不可访问的数据集，而仅...
-
大语言模型之十五-预训练和监督微调中文LLama-2
这篇博客是继《大语言模型之十二 SentencePiece扩充LLama2中文词汇》、《大语言模型之十三 LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》 前面博客演示了中文词汇的扩充以及给予LoRA方法的预训练模型参数合并，并没有给出Lo...
-
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
目录 赛题介绍 赛题背景 赛题任务 赛程安排 评分机制 奖项设置 近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，算丰承办了“算法专项赛”赛道，提供赛题「面向Stable Diffusi...
-
[LLM+AIGC] 01.应用篇之中文ChatGPT初探及利用ChatGPT润色论文对比浅析（文心一言 | 讯飞星火）
近年来，人工智能技术火热发展，尤其是OpenAI在2022年11月30日发布ChatGPT聊天机器人程序，其使用了Transformer神经网络架构（GPT-3.5），能够基于在预训练阶段所见的模式、统计规律和知识来生成回答，还能根据聊天的上下文进行互动，...
-
AIGC图像分辨率太低？快来试试像素感知扩散超分模型，你想要的细节都在这里
FaceChain写真开源项目插播： 最新 FaceChain支持多人合照写真、上百种单人写真风格，项目信息汇总：ModelScope 魔搭社区 。 github开源直达（觉得有趣的点个star哈。）：GitHub - mo...
-
使用LoRA对大语言模型LLaMA做Fine-tune
使用LoRA对大语言模型LLaMA做Fine-tune 前言 下载 配置环境 模型的训练 Fine-tune 模型的使用 Inference 参考 问题汇总 前言 目前有大量对LLM（大语言模型）做Fine-tune的方式，不...
-
乌镇峰会十年，“桨”声“心”影里的百度AI
11月8日，2023年世界互联网大会乌镇峰会开幕。世界互联网大会早已成为国内规格最高的科技盛事，是展现全球数字经济最新科技成果的舞台，是观察数字经济潮水奔涌方向的瞭望台，堪称数字经济风向标。在生成式人工智能掀起新一轮技术革命的2023年，乌镇峰会具备承前...
-
大语言模型汇总（ChatGPT、盘古、通义、文心一言、混元）
首先就是OpenAI所提出的GPT相关模型，也是目前最火的大语言模型，发布版本已经到了4.0 1.ChatGPT 官网：https://chat.openai.com/chat 如下图是自然语言功能的使用示例 2.华为的盘古模型 盘古模型是华为开发...
-
快速训练自己的大语言模型：基于LLAMA-7B的lora指令微调
目录 1. 选用工程：lit-llama 2. 下载工程 3. 安装环境 4. 下载LLAMA-7B模型 5. 做模型转换 6. 初步测试 7. 为什么要进行指令微调？ 8. 开始进行指令微调 8.1. 数据准备 8.2 开始模型训练 8.3...
-
LLM：LLaMA模型和微调的Alpaca模型
LLaMA模型 简单了解[LeCun狂赞：600刀GPT-3.5平替！ 斯坦福70亿参数「羊驼」爆火，LLaMA杀疯了] 论文原文：https://arxiv.org/abs/2302.13971v1 预训练数据 模型架构 模型就是用的tra...
-
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读：2023年08月25日(北京时间 ，Meta发布了Code Llama，一个可以使用文本提示生成...
-
大模型之Bloom&LLAMA----SFT(模型微调)
0. 简介 随着chatgpt的爆火，最近也有很多大模型在不断地出现，比如说Bloom系列以及以LLAMA为基础的ziya和baichuan。这些模型相较于chatglm来说，更加具有发展前景，因为其是完全可商用，并可以不断迭代更新的。最近作者在跟着h...
-
百度搜索深度学习模型业务及优化实践
作者 | Xin 导读 百度搜索架构部模型架构组，致力于将最新的人工智能技术以更低的成本被百度数亿用户体验到。这个过程中会面临非常多的系统、工程层面的问题，甚至在深度学习模型领域，我们看到越来越多的工作并不拘泥于工程本身。 本文主要分享模...
-
AI绘画火爆，到现在还只是冰山一角？AIGC掀起当代新艺术浪潮
前言： hello，大家好我是Dream。近日，各大社交平台掀起了一股“AI绘图”风潮，很多同学朋友纷纷在社交平台上晒出了属于自己的AI照片，一时间AI相关话题热度高涨。那对于AI绘画以及开启AI内容创作新时代的昆仑万维你究竟了解多少呢？那么今天我就带大家...
-
李飞飞团队新作：脑控机器人做家务，让脑机接口具备少样本学习能力
未来也许只需动动念头，就能让机器人帮你做好家务。斯坦福大学的吴佳俊和李飞飞团队近日提出的 NOIR 系统能让用户通过非侵入式脑电图装置控制机器人完成日常任务。 NOIR 能将你的脑电图信号解码为机器人技能库。它现在已能完成例如烹饪寿喜烧、熨衣服、磨奶酪、...
-
如何为制造业和自动化应用选择人工智能技术
在工业自动化领域的生产和实验室之外的日常生活中，人工智能(AI 的定义差异很大。 “人工智能”指的是一门包含了几种不同技术和工程学科的科学，包括机器视觉、计算机视觉、机器学习和深度学习。当一个基于这些技术组合的系统设计得当时（从应用分析到最终验证），它...
-
UniPAD：通用自动驾驶预训练模式！各类感知任务都可支持
本文经自动驾驶之心公众号授权转载，转载请联系出处。 最近，新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是，语言视觉多模态大模型融合已经是业界共识了，UniPad 这篇文章就比较有代表性，多模态的输入，类世界模型的预训练基座模型，同时又方便扩...