-
AlphaFold 3不开源，统一生物语言大模型阿里云先开了！
把169861个生物物种数据装进大模型，大模型竟get到了生物中心法则的奥秘—— 不仅能识别DNA、RNA与相应蛋白质之间的内在联系，在基因分类、蛋白质相互作用预测、热稳定性预测等7种不同类型任务中也能比肩SOTA模型。 模型名为LucaOne，由阿里云...
-
超详细！AIGC面试系列 大模型进阶(2)
本期问题快览 1. 如何让大模型处理更长的文本？ 2. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？ 3. 什么是有监督微调SFT 4. SFT 指令微调数据如何构建? 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘...
-
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B
前言 4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了，一查，还真是 本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capa...
-
Google Bard的Gemini Pro最新升级；Nomic Embed: 开源文本嵌入模型
? AI新闻 ? Google Bard的Gemini Pro最新升级 摘要：Bard现在可以在超过40种语言和230多个国家和地区使用Gemini Pro，提供更强大的理解、推理、总结和编码能力。 Bard的双重检查功能将扩展到40多种语言，用户...
-
数据驱动与 LLM 微调：打造 E2E 任务型对话 Agent
作者 | Thought Agent 社区 在对话系统的设计和实现中，传统的基于 Rasa-like 框架的方法往往需要依赖于多个模块的紧密协作，例如我们在之前的文章中提到的基于大模型（LLM）构建的任务型对话 Agent，Thought Agent，其...
-
Karpathy新教程爆火，网友抢着送他H100：从头复现GPT-2训练
大神Karpathy已经不满足于用C语言造Llama了! 他给自己的最新挑战:复现OpenAI经典成果，从基础版GPT-2开始。 挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就!有!点!过!分!了!。 不仅如此，...
-
AIGC重塑金融：AI大模型驱动的金融变革与实践，2024年最新阿里面试二面
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。 深知大多数HarmonyOS鸿蒙开发工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不...
-
马斯克烧60亿美元难题，国内大厂有解？开源MoE模算效率黑马登场，3.7B参数单挑Llama 3-70B
如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。 最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork 2的训练和发布。 Grok 3及更高版本，甚至需要10万个H100，按每台H100售价3万美元来算，仅芯片就要花...
-
OpenAI正训练GPT-4的继任者，GPT-5或将带来三个重大升级
虽然 OpenAI 最近推出的模型 GPT-4o 在大型语言模型（LLM）领域有了重大突破，但该公司已经开始着手研发下一个旗舰模型 GPT-5。许多人在 GPT-4o 发布前期就期待着 OpenAI 推出备受瞩目的 GPT-5。为了澄清这种猜测，首席执行官...
-
和GPT-4这些大模型玩狼人杀，人类因太蠢被票死，真·反向图灵测试
「你看，人类一败涂地了」 这是一次「反向图灵测试」，几个全球最先进的大模型坐在一起，坐着火车唱着歌，但其中混进了人类: 而 AI 的任务，是把这个人类揪出来。 最近，一位昵称「Tore Knabe」的网友在 X 平台发布的一段视频引发了人们的讨论。在视频中...
-
AI模型竟然也有偏好的数字 GPT-3.5Turbo非常喜欢47
最近，人们发现了一个有趣的现象，即AI模型在选择数字时表现出类似人类的购买和避好行为，这证明了模型在回答问题时重复训练数据中的常见内容。这种行为具有确定“人性化”的特点，虽然模型本身并不具备人类的认知能力。 在实验中，一些工程师要求几个主要的LLM聊天机器...
-
硅谷有了自己的鲁迅！AI大佬LeCun连续暴走，从马斯克到OpenAI，全被怼了个遍
当地时间 5 月 26 日，马斯克旗下的人工智能初创公司xAI宣布完成B轮 60 亿美元融资。主要的投资者包括 Valor Equity Partners、Vy Capital、Andreessen Horowitz、红杉资本等。 xAI2023 年 7...
-
现在适合进入AIGC行业吗？
现在适合进入AIGC行业吗？ 随着人工智能生成内容（AIGC）技术的快速发展，越来越多的人开始关注这个行业。那么，现在是否是进入AIGC行业的好时机呢？本文将从行业前景、市场需求以及个人选择与规划三个方向进行探讨。 行业前景 发展前景 AI...
-
图像生成模型浅析（Stable Diffusion、DALL-E、Imagen）
目录 前言 1. 速览图像生成模型 1.1 VAE 1.2 Flow-based Model 1.3 Diffusion Model 1.4 GAN 1.5 对比速览 2. Diffusion Model 3. Stable Diffusi...
-
适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生
在机器人学习方面，一种常用方法是收集针对特定机器人和任务的数据集，然后用其来训练策略。但是，如果使用这种方法来从头开始学习，每一个任务都需要收集足够数据，并且所得策略的泛化能力通常也不佳。 原理上讲，从其它机器人和任务收集的经验能提供可能的解决方案，能让...
-
Meta被曝使用Instagram等照片训练AI模型引发隐私争议
全球社交巨头 Meta 最近因使用用户照片训练 AI 模型 Emu 引发了一场隐私争议。据报道，Meta 正在利用 Instagram 和 Facebook 上的用户照片进行训练，同时还会使用用户对图片的描述、标题等文本数据。这严重违反了数据隐私搜集条例，...
-
CIO指南：采用开源生成式AI需要注意的十件事
开源生成式AI模型是可以免费下载的、大规模使用而无需增加API调用成本的，并且可以在企业防火墙后面安全运行。但你不要放松警惕，风险仍然存在，有些风险不仅被放大了，而且针对生成式AI的新风险正在出现。 如今似乎任何人都可以制作AI模型，即使你没有训练数...
-
智慧建筑：基于YOLOv7的建筑外墙缺陷检测
01 前景概要 现有的基于深度学习的方法在识别速度和模型复杂性方面面临一些挑战。为了保证建筑外墙缺陷检测的准确性和速度，我们研究了了一种改进的YOLOv7方法BFD-YOLO。首先，将YOLOv7中原有的ELAN模块替换为轻量级的MobileOne模块，...
-
用于精确目标检测的多网格冗余边界框标注
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 一、前言 现在领先的目标检测器是从基于深度CNN的主干分类器网络重新调整用途的两级或单级网络。YOLOv3就是这样一种众所周知的最先进的单级检测器，它接收输入图像并将其划分为大小相等的网格矩阵。具...
-
AIGC系列之：DDPM原理解读（简单易懂版）
目录 DDPM基本原理 DDPM中的Unet模块 Unet模块介绍 Unet流程示意图 DownBlock和UpBlock MiddleBlock 文生图模型的一般公式 总结 本文部分内容参考文章：https://ju...
-
ChatGPT如何「思考」？心理学和神经科学破解AI大模型，Nature发文
美国东北大学的计算机科学家 David Bau 非常熟悉这样一个想法：计算机系统变得如此复杂，以至于很难跟踪它们的运行方式。 「我做了 20 年的软件工程师，研究非常复杂的系统。这个问题总是存在的。」Bau 说。 但 Bau 说，使用传统软件，具有内部知...
-
【带文字的图像生成-附开源代码】AIGC 如何在图像中准确生成文字？字体篇（上）
文字图像生成是什么？ “文字图像生成（Text-image generation）”即生成带有指定文字的图像。如下图所示，市面常见的通用文生图很难准确地生成带有指定文字的图像。文字图像生成也被称为文本渲染（Text rendering）。 为什么重要？...
-
研究称GPT-4 选股准确率高达 60%，被质疑数据污染
最近，一篇芝大论文引发了业内的热议，研究发现 GPT-4在选股方面的准确率高达60%，超越了大部分人类股票分析师和专业模型。这一发现让人们开始怀疑人类股票分析师是否将面临下岗的风险。然而，一些 AI 大牛对这项研究提出了质疑，指出可能存在训练数据污染的问题...
-
芝大论文证明GPT-4选股准确率高达60%，人类股票分析师要下岗？AI大牛质疑数据污染
最近，各位业内大咖都被芝大的一篇论文震惊了。 研究者发现，由GPT-4帮忙选择的股票，直接击败了人类！同时也pk掉了许多其他针对金融训练的机器学习模型。 最让他们震惊的是，LLM可以在没有任何叙述上下文的情况下，就成功分析财务报表中的数字！ 图片 论文地...
-
一文深度剖析 ColBERT
近年来，向量搜索领域经历了爆炸性增长，尤其是在大型语言模型（LLMs）问世后。学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。 在之前的文章中，我们已经深入探讨了各种类型的 embeddin...
-
手撕Llama3第1层: 从零开始实现llama3
一、Llama3的架构在本系列文章中，我们从头开始实现llama3。 Llama3的整体架构： 图片 Llama3的模型参数： 让我们来看看这些参数在LlaMa 3模型中的实际数值。 图片 [1] 上下文窗口（context-window）在实例化Lla...
-
为何说小语言模型是AI界的下一大热门？
译者 | 布加迪 审校 | 重楼 在AI领域，科技巨头们一直在竞相构建越来越庞大的语言模型，如今出现了一个令人惊讶的新趋势：小就是大。随着大语言模型（LLM）方面的进展出现了停滞的迹象，研究人员和开发人员日益开始将注意力转向小语言模型（SLM）。这种紧凑...
-
手把手教你用LoRA训练自己的Stable Diffusion模型
目录 写在前面 一、准备数据 二、数据打标签 三、执行训练 四、执行推理 1.LoRA推理 2.全参数推理 写在前面 Stable Diffusion大家已经很熟悉了，那么如何训练自己的sd模型呢，今天我就介绍一下用L...
-
Copilot Workspace是GitHub对人工智能驱动的软件工程的诠释
软件开发的未来是人工智能驱动的集成开发环境吗？至少GitHub 是这样想的。 在今年初秋于旧金山举行的 GitHub Universe 年度大会之前，GitHub 发布了 Copilot Workspace，这是一种开发环境，利用 GitHub 所称的...
-
知识分享系列五：大模型与AIGC
大模型（LLM，Large Language Mode）是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务，给模型一些文本输入，它能返回相应的输出，完成的具体任务包括生成、分类、总结、改写...
-
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 基于大模型实践和技术交流，我...
-
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略 导读：2024年4月18日，Meta 重磅推出了Meta Llama 3，本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llam...
-
LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
一篇文章详细介绍Stable Diffusion模型原理及实现过程(附常用模型网站、下载方式)
目录 前言 何为Stable Diffusion模型？ Stable Diffusion工作原理： Stable Diffusion模型的应用场景 Stable Diffusion免费使用网站 stability.ai: 本地部...
-
探索AIGC技术：创新、挑战与责任
? 个人主页：Dikz12 ?格言：那些在暗处执拗生长的花，终有一日会馥郁传香 欢迎大家?点赞✍评论⭐收藏 #如何看待AIGC技术？ 目录 AIGC简单介绍 创新 责任 未来展望和挑战 AIGC简单介绍 AIGC是人...
-
Stable Diffusion AI绘画
我们今天来了解一下最近很火的SD模型 ✨在人工智能领域，生成模型一直是研究的热点之一。随着深度学习技术的飞速发展，一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型，它可以学...
-
AIGC实战——基于Transformer实现音乐生成
AIGC实战——基于Transformer实现音乐生成 0. 前言 1. 音乐生成的挑战 2. MuseNet 3. 音乐数据 3.1 巴赫大提琴组曲数据集 3.2 解析 MI...
-
LLaMA Factory单机微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
字节携港大南大升级 LLaVA-NeXT：借 LLaMA-3 和 Qwen-1.5 脱胎换骨，轻松追平 GPT-4V
文 | 王启隆 出品 | 《新程序员》编辑部 2023 年，威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究人员共同开发的 LLaVA 首次亮相，彼时它被视为一个端到端训练的大型多模态模型，展现了在视觉与语言融合领域的潜力。今年...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
简单通用：视觉基础网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源：https://github.com/LeapLabTHU/EfficientTrain 会议...
-
李彦宏出席VivaTech：中国AI与西方的最大区别在于应用
5月22日，在法国巴黎举办的“欧洲科技创新展览会”（Viva Technology）主论坛上，百度创始人、董事长兼首席执行官李彦宏与阳狮集团监事会主席莫里斯•列维（Maurice Levy）对谈时表示，中国AI与西方的最大区别在于应用，中国有数百个基础模型...
-
Meta首席科学家：大模型永远达不到人类智力
快科技5月23日消息，据媒体报道，Meta的首席人工智能科学家、深度学习领域的先驱杨立昆（Yann LeCun）近日对ChatGPT等生成式AI产品背后的大语言模型的能力提出了质疑。 他表示，大模型永远无法实现像人类一样的推理和规划能力。 杨立昆明确指出，...
-
Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴
「这份访谈的每一秒都是精华。」最近，图灵奖得主 Geoffrey Hinton 的一个访谈视频得到了网友的高度评价。 视频链接：https://www.youtube.com/watch?v=tP-4njhyGvo&t=660s 在访谈中，Hi...
-
马斯克的xAI正努力实现Grok多模态化 将支持上传照片获得文本回复
埃隆・马斯克的人工智能公司 xAI 正在努力为其 Grok 聊天机器人增加多模态输入功能。 根据公开的开发者文件，埃隆·马斯克（Elon Musk）的人工智能公司xAI在向其Grok聊天机器人添加多模态输入方面取得了进展。这意味着，很快，用户就可以将照片上...
-
微软发布Phi-3 Vision等最新大模型系列
微软发布了其最新的大型语言模型系列，Phi-3，包括Phi-3Vision、Phi-3Small7B和Phi-3Medium14B型号。这些模型在性能上与当前领先的大型模型相媲美，同时在特定领域提供了一些独特的优势。 Phi-3Medium14B 型号的...
-
拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失（...
-
Inflection AI揭示新团队和计划，将情感AI嵌入商业机器人
前不久，Inflection AI 的首席人工智能专家之一 Mustafa Suleyman 离职加入微软 AI 部门，这一消息在科技界引起了广泛的关注。然而，对于留在 Inflection AI 的命运，人们却没有过多讨论。Inflection AI 曾...
-
拒绝AI生成代码！开源操作系统陆续举起“禁令”，Debian尚无行动
整理丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 当下，AI的崛起已成大势。但是，当AI的触角伸向开源操作系统时，一些社区陆续亮起了“红灯”。 先是Linux发行版Gentoo 在四月中旬发布了一项理事会政策，禁止使用AI工具生成...
-
免费ai绘画网站高质量风格生成 100+中文AI绘画关键词汇总
什么是AI绘画？ AI绘画是一种利用人工智能技术进行艺术创作的方法。通过深度学习和计算机视觉技术，AI能够分析和模仿人类艺术家的风格，自动生成独特的艺术作品。这种技术不仅能够辅助艺术家创作，还能为非专业人士提供一个创作艺术的平台。 AI绘画的核心功能...