-
在少样本学习中，用SetFit进行文本分类
译者 | 陈峻 审校 | 重楼 在本文中，我将向您介绍“少样本（Few-shot）学习”的相关概念，并重点讨论被广泛应用于文本分类的SetFit方法。 传统的机器学习（ML） 在监督（Supervised）机器学习中，大量数据集被用于模型训练，以便...
-
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决...
-
OpenAI内乱之害远未止
继OpenAI最近的争议后，AI工程师和公司开始减少乃至完全摆脱对其API的依赖。 译自Pivot! AI Devs Move to Switch LLMs, Reduce OpenAI Dependency，作者 Richard MacManus 是...
-
如何使用GPTQ量化使LLM更轻
译者 | 李睿 审校 | 重楼 大型语言模型(LLM 应用的一大挑战是其耗费巨大的内存和计算需求，通常需要数十GB的GPU内存。这使得它们不仅昂贵而且难以运行。 为了缓解这些问题，研究人员开发了几种LLM压缩技术，其中包括“量化”。量化通过改变参数的存...
-
大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明
大家好，我是微学AI，今天给大家讲一下大模型的实践应用6-百度文心一言的基础模型ERNIE的详细介绍，与BERT模型的比较说明。在大规模语料库上预先训练的BERT等神经语言表示模型可以很好地从纯文本中捕获丰富的语义模式，并通过微调的方式一致地提高各种NLP...
-
模型杂谈：使用 IN8 量化推理运行 Meta “开源泄露”的大模型（LLaMA）
接着之前文章《模型杂谈：快速上手元宇宙大厂 Meta “开源泄露”的大模型（LLaMA）》一文中的话题，继续聊聊如何使用 INT8 量化的方式来让低显存的设备能够将模型运行起来。 写在前面 前几天，在知乎上看到《如何评价 LLaMA 模型泄露？》问题...
-
OpenAI神秘Q*毁灭人类？爆火「Q*假说」竟牵出世界模型，全网AI大佬长文热议
Q* 【新智元导读】传闻中OpenAI的Q*，已经引得AI大佬轮番下场。AI2研究科学家Nathan Lambert和英伟达高级科学家Jim Fan都激动的写下长文，猜测Q*和思维树、过程奖励模型、AlphaGo有关。人类离AGI，已是临门一脚了? Ope...
-
【网安AIGC专题11.1】11 Coreset-C 主动学习：特征选择+11种采样方法+CodeBERT、GraphCodeBERT+多分类(问题分类)二元分类(克隆检测)非分类任务(代码总结)
Active Code Learning: Benchmarking Sample-Efficient Training of Code Models 写在最前面 论文名片 先验知识的补充 主动学习 采样函数 benchmark基准和base...
-
【多模态】4、Chinese CLIP | 专为中文图文匹配设计
文章目录 一、背景 二、方法 2.1 基础内容 2.2 数据集 2.3 预训练方法 2.4 模型尺寸 三、效果 四、代码 4.1 推理 论文：Chinese CLIP: Contrastive Vision-Language Pr...
-
stable-diffusion领域prompt集合
有什么写实的stable diffusion模型？ - 知乎试了试这个模型，感觉勉强，大佬们知道有没有更写实的模型？https://huggingface.co/CompVis/stable-diff…https://www.zhihu.com/quest...
-
由文心一言发布会引发的思考，聊聊我未来的学习规划
文章目录 前言 一. 文心一言的试用 1.1 文心一言发布会 1.2 文心一言图片生成功能试用 1.3 文心一言文本功能试用 1.4 文心一言代码功能试用 1.5 试用总结 二. 我未来的学习规划 2.1 向csdn的大佬请教 2.2 关...
-
AI加速“科技权势”集中，巨头垄断AI会造成严重后果吗？
大家有没有发现，AI技术似乎相当集中，科技巨头占尽优势。基于这一现实，许多科技高管纷纷发声预警，他们认为：科技巨头本来已经拥有相当大的权势，到了AI时代权势将会更大。 去年OpenAI推出ChatGPT，它可以根据提示给出答案，瞬间引爆了生成式AI大变革...
-
研究人员开发自动识别古代楔形文字片的AI软件
一项由马丁·路德大学哈勒-维滕贝格（MLU）、约翰内斯·古腾堡大学迈因茨分校和迈因茨应用科学大学团队开发的新型人工智能软件如今能够解读难以辨认的楔形文字。与以往依赖照片的方法不同，该AI系统利用楔形文字片的3D模型，传递的结果比先前的方法更加可靠。这使得能...
-
AIGC音乐的中场战事：从技术、产品到商业规则
最近，谷歌围绕着AIGC音乐打出了一套“组合拳”。 11月16日，谷歌旗下 DeepMind发布了最新的AIGC音乐生成模型Lyria，并与YouTube合作打造了两个重要应用场景:Dream Track和Music AI tools。同时，谷歌和YouT...
-
独家 | 为DALL·E 2花了15美元创作这幅AI图像以后，我学到了……
作者：Joy Zhang 翻译：陈超 校对：赵茹萱 本文约3000字，建议阅读8分钟 本文介绍了作者使用DALL·E 2生成了美洲驼灌篮的逼真版图片的过程。 是的，这是一只美洲驼灌篮。一份对DALL·E 2封闭测试版试验的过程、限制以及...
-
UC伯克利研究人员推出Ghostbuster:用于检测 LLM 生成文本的最先进 AI 方法
LLM，如 ChatGPT，可以轻松地产生各种流利的文本，但是它们的准确性有多高呢?语言模型容易产生事实错误和幻觉，这让读者在决定是否相信一个信息来源时知道是否使用了这些工具来做新闻文章或其他信息文本的幽灵写作。这些模型的发展也引发了对文本的真实性和原创性...
-
MatrixOne 实战系列回顾 | 建模与多租户
本次分享主要介绍MatrixOne建模与多租户相关内容。 1 建模 #1 与MySQL的区别 使用create table语句建表和MySQL建表语句基本相同，也有几点要注意。 MatrixOne暂不支持空间数据类型，其他数据类型在保持与 MyS...
-
一种全新的日志异常检测评估框架：LightAD
本文分享自华为云社区《【AIOps】一种全新的日志异常检测评估框架：LightAD，相关成果已被软工顶会ICSE 2024录用》，作者： DevAI。 深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测...
-
Grounding dino + segment anything + stable diffusion 实现图片编辑
目录 总体介绍 总体流程 模块介绍 目标检测： grounding dino 目标分割：Segment Anything Model (SAM 整体思路 模型结构： 数据引擎 图片绘制 集成 样例 其他问题 附录 总体介绍...
-
训练AI助理实现SumTo100游戏自学习与结果预测
译者 | 朱先忠 审校 | 重楼 简介 在一款完美的信息类游戏中，如果你所需要的一切都能够让每一个玩家在游戏规则中看到，这不是一件很神奇的事情吗？ 但遗憾的是，对于像我这样的普通玩家来说，阅读有关一款新游戏的玩法规则只是学习玩复杂游戏旅程中的一小部分，而...
-
揭秘百度文心一言大模型：设计、应用与实战
导言 在当今的深度学习领域，大型预训练模型如GPT、BERT等已经取得了显著的进展。而百度公司的文心一言大模型，作为一款基于Transformer结构的巨型模型，也在自然语言处理领域产生了重大影响。本文将详细介绍文心一言大模型的设计原理、特点以及应用场...
-
GPT、Llama等大模型存在「逆转诅咒」，这个bug该如何缓解？
来自中国人民大学的研究者将 Llama 等因果语言模型所遭遇的 “逆转诅咒” 归咎于 next-token prediction + causal language model 的本质缺陷，并发现 GLM 采用的自回归填空的训练方法对这种 “逆转诅咒”...
-
13B模型全方位碾压GPT-4？这背后有什么猫腻
一个参数量为 13B 的模型竟然打败了顶流 GPT-4？就像下图所展示的，并且为了确保结果的有效性，这项测试还遵循了 OpenAI 的数据去污方法，更关键的是没有发现数据污染的证据。 如果你细细查看图中的模型，发现只要带有「rephraser」这个单词...
-
解决LLaMA、BERT等部署难题：首个4-bit浮点量化LLM来了
大语言模型 (LLM 压缩一直备受关注，后训练量化（Post-training Quantization 是其中一种常用算法，但是现有 PTQ 方法大多数都是 integer 量化，且当比特数低于 8 时，量化后模型的准确率会下降非常多。想较于 In...
-
OpenAI CEO和马斯克在线互怼：Grok真能叫板GPT-4吗？
最近，科技界的两大顶流——OpenAI CEO和马斯克“掐”起来了。 事情的起因是，Sam Altman发了一条推文，说“GPTs可以节省很多工作”，配图充满嘲讽意味，直指马斯克的AI聊天机器人Grok。 他让GPT Builder创建一个聊天机器人，以...
-
【NLP】Llama & Alpaca大模型
?大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流? ?个人主页－Sonhhxg_柒的博客_CSDN博客 ? ?欢迎各位→点赞? + 收藏⭐️ + 留言? ?系列专栏 - 机器学习【ML】 自然语言...
-
AIGC：使用bert_vits2实现栩栩如生的个性化语音克隆
1 VITS2模型 1.1 摘要 单阶段文本到语音模型最近被积极研究，其结果优于两阶段管道系统。以往的单阶段模型虽然取得了较大的进展，但在间歇性非自然性、计算效率、对音素转换依赖性强等方面仍有改进的空间。本文提出VITS2，一种单阶段的文本到语音模型，...
-
如何有效减少 AI 模型的数据中心能源消耗？
在让人工智能变得更好的竞赛中，麻省理工学院（MIT）林肯实验室正在开发降低功耗、高效训练和透明能源使用的方法。 在 Google 上搜索航班时，您可能已经注意到，现在每个航班的碳排放量估算值都显示在其成本旁边。这是一种告知客户其对环境影响的方式，并让他...
-
AIGC入门 - LLM 信息概览
在阅读本文之前，建议阅读文章：《GPT，GPT-2，GPT-3，InstructGPT的进化之路》 本文将介绍以下 LLM OPT LLaMa Alpaca Vicuna Moss chatGLM Baichuan Openbuddy 一、OPT...
-
Ghostbuster：一个准确度高的AI生成文本检测工具
大语言模型如ChatGPT，以其卓越的写作能力引发了问题。学生们纷纷利用这些模型代写作业，导致一些学校不得不采取禁止ChatGPT的措施。此外，这些模型还存在生成带有事实错误的文本的倾向，因此谨慎的读者可能想知道，在信任某些新闻文章或其他来源之前，是否有生...
-
未来AI将有五大发展趋势?2024年将进入“有意义的人工智能时代”
由于生成式人工智能的出现，人们与人工智能的距离逐渐缩短。过去很少关注相关技术的人们，今年可能已经成为人工智能工具的用户。眼看着2023年即将结束，新的一年里，人工智能会有怎样的发展呢? 企业将通过开源模型提升人工智能能力 美国研究公司Forrester...
-
网易云音乐推荐系统的冷启动技术
一、问题背景：冷启动建模的必要性和重要性 作为一个内容平台，云音乐每天都会有大量的新内容上线，虽然相较于短视频等其它平台，云音乐平台的新内容数量相对较少，但实际数量可能远远超出大家的想象。同时，音乐内容与短视频、新闻、商品推荐又有着显著的不同，音乐的...
-
全球各行业公司纷纷发布GPT-4相关职位
大型语言模型（LLM）领域正在迅速增长，对深度学习、机器学习、自然语言处理(NLP 等领域的专业人才需求不断上升。随着越来越多的公司采用聊天机器人和其他LLM人工智能技术来提高客户服务和运营效率，对于开发、维护和操作这些系统的才华横溢的个体的需求也在增加。...
-
Text-to-SQL小白入门（五）开源最强代码大模型Code Llama
摘要 本文介绍了Code Llama大模型的基本概括，包含了论文的摘要、结果、结论以及核心方法，对于了解和实践Code Llama有一定帮助。 论文概述 上一篇介绍了指令进化大模型WizardLM，留了一个坑，补上Code Llama论文学习，...
-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chim...
-
如何用AI制作电影级镜头？Midjourney v5体验教程(附prompts大全)
目录 1 AI绘画不断进步 2 Midjourney体验教程 2.1 注册Discord账号 2.2 Midjourney绑定Discord 2.3 接入Midjourney Bot应用 2.4 开始作画 3 prompts大全 4 结语...
-
【AIGC】1、爆火的 AIGC 到底是什么 | 全面介绍
文章目录 一、AIGC 的简要介绍 二、AIGC 的发展历程 三、AIGC 的基石 3.1 基本模型 3.2 基于人类反馈的强化学习 3.3 算力支持 四、生成式 AI（Generative AI） 4.1 单模态 4.1.1 生成式语...
-
Meta最新模型LLaMA细节与代码详解
Meta最新模型LLaMA细节与代码详解 0. 简介 1. 项目环境依赖 2. 模型细节 2.1 RMS Pre-Norm 2.2 SwiGLU激活函数 2.3 RoPE旋转位置编码 3. 代码解读 3.1 tokenizer 3.2 m...
-
北大具身智能团队提出需求驱动导航，对齐人类需求，让机器人更高效
如果想让机器人帮助你，你通常需要下达一个较为精准的指令，但指令在实际中的实现效果不一定理想。如果考虑真实环境，当要求机器人找某个特定的物品时，这个物品不一定真的存在当前的环境内，机器人无论如何也找不到；但是环境当中是不是可能存在一个其他物品，它和用户要求...
-
LLM - LLaMA-2 获取文本向量并计算 Cos 相似度
目录 一.引言 二.获取文本向量 1.hidden_states 与 last_hidden_states ◆ hidden_states ◆ last_hidden_states 2.LLaMA-2 获取 hidden_states ◆...
-
小白也能看懂的 AUC 详解
简介 上篇文章 小白也能看懂的 ROC 曲线详解 介绍了 ROC 曲线。本文介绍 AUC。AUC 的全名为Area Under the ROC Curve，即 ROC 曲线下的面积，最大为 1。 根据 ROC 和 AUC 的关系，我们可以得到如下结...
-
高德Android高性能高稳定性代码覆盖率技术实践
前言 代码覆盖率(Code coverage 是软件测试中的一种度量方式，用于反映代码被测试的比例和程度。 在软件迭代过程中，除了应该关注测试过程中的代码覆盖率，用户使用过程中的代码覆盖率也是一个非常有价值的指标，同样不可忽视。因为伴随着业务扩展和功能...
-
python爬虫详解
python爬虫详解 1、基本概念 1.1、什么是爬虫 网络爬虫，是一种按照一定规则，自动抓取互联网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利...
-
如何高效训练？综述汇总：大型深度学习训练的并行分布式系统
本文经自动驾驶之心公众号授权转载，转载请联系出处。 23年1月论文“Systems for Parallel and Distributed Large-Model Deep Learning Training“， 来自UCSD。 深度学习（DL）已经...
-
大型语言模型（LLM）技术精要，不看亏了
哈喽，大家好。 今天分享一篇知乎高赞文章，作者是张俊林老师。 图片 读完收获很多，能帮大家更好地理解、学习大模型。原文有2.8w字，我提炼了核心要点，阅读需要10min。 ChatGPT的出现给很多人带来了惊喜和醒悟。有人惊喜地发现大型语言模型（LLM）...
-
李开复领队开源大模型 Yi，40万字上下文窗口破纪录
由李开复博士亲自下场创办的零一万物（01.ai），自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。 在线上发布环节，李开复博士重点介绍了 Yi 系列大模型的三处性能亮点: 全球最长200K 上下文窗口，免费开...
-
2024年人工智能安全发展十大预测
本周三，包括英国、美国和中国在内的近30个国家（以及欧盟）在人工智能安全峰会上达成首个全球性人工智能安全协议，并发布了《人工智能安全宣言》，这标志着人工智能正式进入安全发展的强监管时代。 峰会期间，人工智能意见领袖们就人工智能安全风险的严重性判断产生重...
-
招聘公司采用 AI 技术提高效率和候选人数量
招聘公司正在采用生成型人工智能技术来寻找候选人和提高效率，这是应对就业市场冷却的一种方式。 全球招聘公司 ManpowerGroup 的首席创新官、商业心理学教授和招聘技术专家 Tomas Chamorro-Premuzic 表示:“由于人才市场一直很紧张...
-
比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了
从 BERT、GPT 和 Flan-T5 等语言模型到 SAM 和 Stable Diffusion 等图像模型，Transformer 正以锐不可当之势席卷这个世界，但人们也不禁会问：Transformer 是唯一选择吗？ 斯坦福大学和纽约州立大学布法...