-
LLM | 偏好学习算法并不学习偏好排序
图片 一、结论写在前面 偏好学习算法（Preference learning algorithms，如RLHF和DPO）常用于引导大型语言模型（LLMs）生成更符合人类偏好的内容，但论文对其内部机制的理解仍有限。论文探讨了传统观点，即偏好学习训练模型通过...
-
微软发布大规模大气基础模型Aurora，用AI预测全球极端天气
微软近日发布了首个大规模大气基础模型 Aurora，这一模型利用人工智能技术，能够预测全球范围内的极端天气事件。与当前数值预报系统相比，Aurora 的计算速度提高了约5000倍，拥有超高的准确率和效率。这一模型的发布标志着天气预测领域迎来了重大突破。...
-
AlphaFold 3引不满！服务器被黑，全世界科学家竞相破解
不久前，AlphaFold3横空出世，直接登上了Nature头版。 新的架构、前所未有的预测精度和准确率，再次震撼了整个学术界。 然而，与AlphaFold2不同，这个新一代的超强模型却没有开源。 取而代之的是，谷歌DeepMind推出了一个免费研究平...
-
Defog发布Llama-3-SQLCoder-8B，文本转SQL模型，性能比肩GPT-4，准确率超90%，消费级硬件可运行
前言 在计算语言学领域，将自然语言转化为可执行的SQL查询是一个重要的研究方向。这对于让那些没有编程或SQL语法知识的用户也能轻松访问数据库信息至关重要。Defog团队近日发布了基于Llama-3的SQLCoder-8B模型，它在文本转SQL模型领域取得...
-
ICML2024高分！魔改注意力，让小模型能打两倍大的模型
改进Transformer核心机制注意力，让小模型能打两倍大的模型！ ICML 2024高分论文，彩云科技团队构建DCFormer框架，替换Transformer核心组件多头注意力模块（MHA），提出可动态组合的多头注意力（DCMHA）。 DCMHA解除...
-
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
使用LLaMA Factory来训练智谱ChatGLM3-6B模型时，以下是一个训练过程： 1. 环境搭建 a. 安装Python和Anaconda 下载并安装适合你操作系统的Python版本（推荐Python 3.10或更高版本）。 安装Anac...
-
快速评测已有的中文llama-3开源模型（4月25日更新）
Llama-3刚出来不到一周，就有一些中文微调模型了。 我快速的对这些模型进行了基准测试，时间仓促，没有办法面面俱到，仅供参考。 中文评测数据集选择的是C-Eval（valid），英文选择的是MMLU（valid），评测指标是准确率， 越高越好。 中...
-
谷歌DeepMind：GPT-4高阶心智理论彻底击败人类！第6阶推理讽刺暗示全懂了
【新智元导读】刚刚，谷歌DeepMind、JHU、牛津等发布研究，证实GPT-4的心智理论已经完全达到成年人类水平，在更复杂的第6阶推理上，更是大幅超越人类!此前已经证实，GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上，人类是彻底被LLM甩在后面...
-
谷歌为AI搜索结果辩护： “数据空白” 和奇怪问题导致
谷歌最近推出了其 AI 搜索结果，却让数百万用户感到困惑。在搜索中，用户得到了一些奇怪的建议，比如在披萨上涂胶水以帮助奶酪粘住，或者建议吃石头。 谷歌紧急删除了一些不准确的 AI 搜索结果，称之为 AI 概述，但损害和模因化已经造成。在公司搜索主管利兹・...
-
论坛图片采集防错位全攻略
随着互联网技术的快速发展，论坛作为信息交流的重要平台，日益增长的图片内容为用户带来了丰富的视觉体验。然而，随之而来的图片采集问题也逐渐凸显，尤其是采集过程中的错位现象，严重影响了用户体验和信息传播的准确性。本文将从技术与实践的角度出发，深入探讨论坛图片如何...
-
通过强化学习策略进行特征选择
特征选择是构建机器学习模型过程中的决定性步骤。为模型和我们想要完成的任务选择好的特征，可以提高性能。 如果我们处理的是高维数据集，那么选择特征就显得尤为重要。它使模型能够更快更好地学习。我们的想法是找到最优数量的特征和最有意义的特征。 在本文中，我们将...
-
超强！必会的十大机器学习算法
1.线性回归 线性回归是用于预测建模的最简单且使用最广泛的机器学习算法之一。 它是一种监督学习算法，用于根据一个或多个自变量预测因变量的值。 定义 线性回归的核心是根据观察到的数据拟合线性模型。 线性模型由以下方程表示： 其中 是因变量（我们想要预测...
-
AlphaFold 3不开源，统一生物语言大模型阿里云先开了！
把169861个生物物种数据装进大模型，大模型竟get到了生物中心法则的奥秘—— 不仅能识别DNA、RNA与相应蛋白质之间的内在联系，在基因分类、蛋白质相互作用预测、热稳定性预测等7种不同类型任务中也能比肩SOTA模型。 模型名为LucaOne，由阿里云...
-
研究发现：OpenAI 的 GPT-4 在金融分析领域具有 “相对优势”：
根据芝加哥大学布斯商学院的一项研究，OpenAI 的 GPT-4在金融分析和预测方面超越了人类分析师，即使没有行业特定信息。这项研究上周公布，发现 GPT-4这一大型语言模型在分析财务报表和预测未来收益方面表现出色。研究称:“即使没有任何叙述或行业特定信息...
-
马斯克烧60亿美元难题，国内大厂有解？开源MoE模算效率黑马登场，3.7B参数单挑Llama 3-70B
如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。 最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork 2的训练和发布。 Grok 3及更高版本，甚至需要10万个H100，按每台H100售价3万美元来算，仅芯片就要花...
-
实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）
Whisper是OpenAI于2022年发布的一个开源深度学习模型，专门用于语音识别任务。它能够将音频转换成文字，支持多种语言的识别，包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下（如不同的背景噪声水平、说话者的口音...
-
GPT-4被证实具有「人类心智」登Nature！AI比人类更好察觉讽刺和暗示
AI发展到今天，其智能水平与人类相比已经不遑多让了，没有一个人可以像AGI一样「包罗万象、吐纳自如」。 这个时候，我们如何还能守住人之为人的尊严？ 有的人说，至少人类是社会性的存在，我们可以听得懂同类的「弦外之音」，可以与他人产生共情，而机器是冰冷的。...
-
AI日报：确认！iOS18将用上ChatGPT；Suno又将推王炸级功能；谷歌AI搜索遭遇滑铁卢；Stable Assistant 可用SD3生成图片；
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、苹果已与 OpenAI 正式达...
-
研究称GPT-4 选股准确率高达 60%，被质疑数据污染
最近，一篇芝大论文引发了业内的热议，研究发现 GPT-4在选股方面的准确率高达60%，超越了大部分人类股票分析师和专业模型。这一发现让人们开始怀疑人类股票分析师是否将面临下岗的风险。然而，一些 AI 大牛对这项研究提出了质疑，指出可能存在训练数据污染的问题...
-
芝大论文证明GPT-4选股准确率高达60%，人类股票分析师要下岗？AI大牛质疑数据污染
最近，各位业内大咖都被芝大的一篇论文震惊了。 研究者发现，由GPT-4帮忙选择的股票，直接击败了人类！同时也pk掉了许多其他针对金融训练的机器学习模型。 最让他们震惊的是，LLM可以在没有任何叙述上下文的情况下，就成功分析财务报表中的数字！ 图片 论文地...
-
换了30多种方言，我们竟然没能考倒中国电信的语音大模型
不管你来自哪个城市，相信在你的记忆中，都有自己的「家乡话」:吴语柔软细腻、关中方言质朴厚重、四川方言幽默诙谐、粤语古雅潇洒…… 某种意义上说，方言不只是一种语言习惯，也是一种情感连接、一种文化认同。我们「上网冲浪」遇到的新鲜词汇中，有不少就是来自各地方言。...
-
尴尬！谷歌手动删除搜索中奇怪的 AI 回答
谷歌的 AI Overview 产品最近推出后，社交媒体上涌现了一些怪异的回答，例如建议用户在披萨上涂胶水或吃石头。这个失误导致谷歌不得不手动禁用特定搜索的 AI Overviews，因为各种有趣的回答很快就被发布到社交网络上。 谷歌的发言人梅根・法恩斯沃...
-
llama-factory/peft微调千问1.5-7b-chat
目标 使用COIG-CQIA数据集和通用sft数据集对qwen1.5-7b-chat进行sft微调，使用公开dpo数据集进行dpo对齐。学习千问的长度外推方法。 一、训练配置 使用Lora方式, 将lora改为full即可使用全量微调。具体的参数...
-
探秘图片爬虫：探寻数据的视觉宝藏
在今天的数字化时代，图片已经成为传递信息、表达情感的重要媒介。随着网络上图片资源的日益丰富，如何高效、准确地获取我们所需的图片成为了一个重要议题。而在这个议题中，“图片爬虫”无疑扮演着举足轻重的角色。本文将从定义、应用、技术原理、风险挑战以及未来趋势等多个...
-
简单通用：视觉基础网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
本文经计算机视觉研究院公众号授权转载，转载请联系出处。 论文链接：https://arxiv.org/pdf/2405.08768 代码和预训练模型已开源：https://github.com/LeapLabTHU/EfficientTrain 会议...
-
深入解析“we7 cms爬虫”技术与应用
在当今信息爆炸的时代，内容管理系统（CMS）已经成为了网站建设不可或缺的一部分。其中，we7 cms作为一款备受欢迎的CMS系统，凭借其强大的功能和灵活的扩展性，赢得了众多站长的青睐。而随着互联网数据的不断增长，爬虫技术也逐渐崭露头角，成为数据挖掘和信息获...
-
分类信息爬虫：探索数据的新维度
在当今数据驱动的时代，网络上的海量信息成为了我们获取知识和洞悉市场动态的重要宝库。然而，如何有效地从这一庞大的信息库中提取出有价值的信息，成为了摆在我们面前的一大难题。正是在这一背景下，“分类信息爬虫”应运而生，它以其强大的信息检索、分类与整合能力，在数据...
-
腾讯云 AI 代码助手正式上线 基于混元大模型打造
腾讯云表示，腾讯云 AI 代码助手已经正式上线，可以帮助开发者高效、优雅地进行软件开发。 目前，在腾讯，有三成的代码是由 AI 助手生成的。腾讯的研发团队利用腾讯混元大模型开发了一个 AI 助手，可以在编码过程中提供智能补全代码信息、修复错误代码、解释历史...
-
“问答爬虫”技术揭秘：智能信息检索的未来
在互联网时代，信息获取已经成为人们日常生活中不可或缺的一部分。随着互联网技术的不断发展和数据量的急剧增长，如何高效、准确地从海量信息中筛选出有价值的信息，成为了亟待解决的问题。在这样的背景下，“问答爬虫”技术应运而生，它凭借其智能化、精准化的特点，正在逐步...
-
开创性CVM算法解开40多年计数难题！计算机科学家掷硬币算出「哈姆雷特」独特单词
计数，听起来简单，却在实际执行很有难度。 想象一下，你被送到一片原始热带雨林，进行野生动物普查。每当看到一只动物，拍一张照片。 数码相机只是记录追踪动物总数，但你对独特动物的数量感兴趣，却没有统计。 那么，若想获取这一独特动物数量，最好的方法是什么？...
-
开创性CVM算法破解40多年计数难题！计算机科学家掷硬币算出「哈姆雷特」独特单词
计数，听起来简单，却在实际执行很有难度。 想象一下，你被送到一片原始热带雨林，进行野生动物普查。每当看到一只动物，拍一张照片。 数码相机只是记录追踪动物总数，但你对独特动物的数量感兴趣，却没有统计。 那么，若想获取这一独特动物数量，最好的方法是什么？ 这...
-
探究自动采集技术的运用与实践
随着科技的不断发展，自动采集技术已广泛应用于各行各业，大大提高了工作效率和数据准确性。那么，自动采集到底怎么用呢？本文将详细探讨自动采集技术的运用方法、实践场景及其带来的变革。一、自动采集技术简介自动采集技术，顾名思义，是指通过特定的软件工具或系统，实现对...
-
替代MLP的KAN，被开源项目扩展到卷积了
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。 KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化...
-
谷歌数学版Gemini解开奥赛难题，堪比人类数学家！
四个月的迭代，让Gemini 1.5 Pro成为了全球最强的LLM（几乎）。 谷歌I/O发布会上，劈柴宣布了Gemini 1.5 Pro一系列升级，包括支持更长上下文200k，超过35种语言。 与此同时，新成员Gemini 1.5 Flash推出，设计...
-
GPT-4通过图灵测试，胜率高达54%！UCSD新作：人类无法认出GPT-4
GPT-4可以通过图灵测试吗？ 当一个足以强大的模型诞生之后，人们往往会用图灵测试去衡量这一LLM的智能程度。 最近，来自UCSD的认知科学系研究人员发现： 在图灵测试中，人们根本无法区分GPT-4与人类！ 论文地址：https://arxiv.org...
-
揭秘Empirebook爬虫：探索数据抓取与处理的新世界
在当今信息化爆炸的时代，数据资源已经成为了各行各业竞相争夺的宝贵财富。随着大数据技术的飞速发展，爬虫作为一种能够自动抓取、处理和分析网络数据的工具，正日益受到人们的关注。在众多爬虫工具中，Empirebook爬虫凭借其强大的功能和灵活的应用场景，逐渐成为了...
-
单次支持38万字输入！腾讯混元推出256k长文模型，通过腾讯云向企业和个人开发者开放
AI大模型技术正成为推动高质生产力发展的关键力量，在与千行百业的融合中发挥着重要作用。腾讯混元大模型通过采用混合专家模型 (MoE 结构，已将模型扩展至万亿级参数规模，增加“脑”容量提升预测性能的同时，推动了推理成本下降。作为通用模型，腾讯混元在中文表...
-
CVPR'24 Oral | 一览纯稀疏点云检测器SAFDNet的前世今生！
写在前面&笔者的个人理解 3D点云物体检测对自动驾驶感知至关重要，如何高效地从稀疏点云数据中学习特征表示是3D点云物体检测面临的一个关键挑战。我们在本文中将会介绍团队发表在NeurIPS 2023的HEDNet和CVPR 2024的SAFDNet...
-
深入解析 Hyperf 爬虫：原理、应用与未来展望
在当今信息化社会，数据已经成为一种重要的资源，而爬虫技术作为获取数据的一种有效手段，广泛应用于各个领域。Hyperf 爬虫，作为基于 Hyperf 框架构建的爬虫系统，凭借其高效、稳定、易扩展等特点，逐渐成为爬虫领域的新宠。本文将对 Hyperf 爬虫进行...
-
识别细胞也能用大模型了！清华系团队出品，已入选ICML 2024 | 开源
大模型带来的生命科学领域突破，刚刚再传新进展。 来自清华系，使用大模型实现了单细胞身份识别，同时模型LangCell也正式对外开源。 它不仅可以准确识别细胞身份，还具有很强的零样本分析能力，论文已被ICML 2024录⽤。 LangCell的数据集中包...
-
大模型真要取代程序员了？最危险的岗位是......
如今，随着大模型在编程、代码生成、自动化测试等领域展现出越来越强大的能力，一个引人深思的问题浮现出来：大模型会不会最终取代程序员的工作？ 有些人认为，世界上本就没有哪项工作是绝对安全的，机器取代人工本就是迟早的事。从 GitHub Copilot...
-
2024春季火山引擎FORCE原动力大会总结 字节豆包9大模型详细介绍
在2024年春季火山引擎FORCE原动力大会上，字节跳动隆重推出了自主研发的“豆包大模型”系列，标志着该公司在人工智能领域的深厚积累和创新能力。这一系列大模型涵盖了豆包通用模型Pro、lite，以及角色扮演模型、语音合成模型、声音复刻模型、语音识别模型、文...
-
MIT最新！多模态LLM真的无所不能吗？大模型能解决一切难题吗？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 本文对自动驾驶领域内多模态大型语言模型（MLLMs）的应用进行了审慎的审视，并对一些常见的假设提出了质疑/验证，重点关注它们通过闭环控制环境中的图像/帧序列推理和解释...
-
思维链不存在了？纽约大学最新研究：推理步骤可省略
红极一时的思维链技术，可能要被推翻了！ 还在惊讶于大模型居然能够利用思维链分步骤思考？ 还在苦于不会写思维链提示词？ 来自纽约大学的研究人员表示：「没关系的，都一样」， 推理步骤不重要，不想写提示词也可以不写，用省略号代替就行了。 论文地址：https...
-
通义灵码技术解析，打造 AI 原生开发新范式
大家好，我是通义灵码的产品技术负责人陈鑫。过去有八年时间，我都是在阿里集团做研发效能，即研发工具相关的工作。 我们从2015年开始做一站式 DevOps 平台，然后打造了云效，也就是将 DevOps 平台实现云化。到了2023年，我们明显感觉到大模型时代来...
-
Refuel AI 推出专为数据标注和清洗设计的开源语言模型 RefuelLLM-2
Refuel AI 最近宣布推出两个新版本的大型语言模型（LLM），RefuelLLM-2和 RefuelLLM-2-small，这两个模型专为数据标注、清洗和丰富任务而设计，旨在提高处理大规模数据集的效率。 RefuelLLM-2的主要特点包括: 自...
-
美国教授用2岁女儿训AI模型登Science！人类幼崽头戴相机训练全新AI
【新智元导读】为训练AI模型，纽约州立大学的一名教授Brenden Lake，竟让自己不到2岁女儿头戴相机收集数据!要知道，Meta训Llama3直接用了15万亿个token，如果Lake真能让AI模型学习人类幼崽，从有限的输入中学习，那LLM的全球数据荒...
-
智能笔记应用Voicenotes 支持AI搜索语音笔记
Voicenotes 是一款以录音为核心的智能笔记应用程序，它通过先进的人工智能技术，为用户提供了一个方便快捷的记录和搜索语音笔记的平台。 核心功能: 录音功能:用户可以随时随地录制自己的想法和信息。 AI 转录:录音可以自动转录为文本，利用最新的人工...
-
70亿LLaMA媲美5400亿PaLM！MIT惊人研究用「博弈论」改进大模型｜ICLR 2024
遇到一个问题用不同表达方式prompt时，大模型往往会给出两种不同的答案。 比如，「秘鲁的首都是什么」，「利马是秘鲁的首都吗」。 对于这种回答不一致的问题，科学家们纷纷为大模型的「智商」担忧起来。 正如了LeCun所言： LLM确实比狗积累了更多的事实知...
-
优秀Agent智能体必学的几种设计模式，一学就会
大家好，我是老渡。 昨天在公司听了清华大学智能产业研究院现场分享的AI医院小镇。 图片 这是一个虚拟世界，所有的医生、护士、患者都是由LLM驱动的Agent智能体，可以自主交互。它们模拟了整个诊病看病的过程，在涵盖主要呼吸道疾病的MedQA数据集子集上，...