-
使用BERT的LLM提取摘要
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 在当今快节奏的世界里，充斥着太多的信息，并且难以处理。人们越来越习惯于在更短的时间内接收更多的信息，当他们不得不阅读大量的文件或书籍时...
-
陈巍：LLaMA-2的多模态版本架构与训练详解（收录于GPT-4/ChatGPT技术与产业分析）
陈巍：2023年9月，Meta的研究人员推出了AnyMAL（任意模态增强语言模型，Any-Modality Augmented Language Model）。该模型能够理解多种模态信号并生成文本回应，即多模态输入，单模态输出。输入的模态可包括图像、视频、...
-
【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例
【Python】科研代码学习：十五 tokenizer的代码细节：Llama_Tokenization 为例 前言 `LlamaConfig`：网络参数配置 `LlamaTokenizer`：分词工具 前言 对于 HF 的 Tr...
-
DeepMind首发游戏AI智能体SIMA！只用自然语言就能玩转「山羊模拟器」
谷歌DeepMind在AI和游戏方面有着悠久的历史。 从过去与Atari游戏的密切合作开始，然后发展到AlphaStar系统可以在《星际争霸II》中达到人类大师级水平，到如今，DeepMind从单个游戏转向了通用的、可指导的游戏AI代理。 SIMA，是一...
-
此时此刻，两个Claude智能体正在无休止对话，无人干预
现在，AI 大模型已经疯狂到这种地步了吗？ 此时此刻，正有两个 Claude 模型在无休止地对话，它们在探索整个宇宙的奥妙。 项目主页介绍称，这是两个 Claude 3 Opus 模型实例之间的自动对话，它们被指示使用命令行界面的比喻（metaphor...
-
增强包容性：如何利用Edge ML支持具有特殊需求的个人
译者 | 李睿 审校 | 重楼 科技进步为具有特殊需要的人带来了新的解决方案。边缘机器学习(Edge ML 是一项开创性技术，它使机器学习算法更接近数据源，从而减少延迟，并提高实时处理能力。 本文讨论了Edge ML在解决具有特殊需求的个人所面临的独特...
-
今日AI：OpenAI要给开发者发钱；马斯克Grok-1.5王炸级更新；李玟姐姐称AI“复活”是二次伤害；世界首个Mamba的生产级模型Jamba发布
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI新鲜事 OpenAI将推...
-
一文尽览！相机内参标定的工具有哪些？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 相机标定任务是很多高级功能的上游，无论是深度学习方案或是传统方案都非常依赖相机标定精度，今天就为大家盘点下相机内参标定常用的工具箱。 1）OpenCV标定工具箱 opencv这个不用多说了，支持多种相机...
-
教育GPT是怎样炼成的？
2024年1月，OpenAI官宣GPTs（商城）正式上线。 至此，程序员的门槛被再次降低，只要有足够的创造力和想象力，每个人都可以根据自己的专业知识创造一个GPT工具的时代已经到来。 在GPTs上线后，至顶网发现，教育类目很快成了被官方推荐的一个热门类...
-
马斯克：人形机器人成本不到汽车的一半
3 月 27 日消息，特斯拉 CEO 埃隆・马斯克周二表示，制造人形机器人 Optimus 的成本仅为特斯拉电动汽车的一半。 马斯克在社交平台表示，“人形机器人虽然单位质量的复杂程度更高，但最终的制造成本我认为仍然会低于特斯拉汽车的一半。” 马斯克的...
-
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践
LLM大模型之基于SentencePiece扩充LLaMa中文词表实践 目前大模型的词表和分词器都是基于SentencePiece工具实现的，比如LLaMa，BLOOM，ChatGLM，Baichuan等，简单来说SentencePiece就是工程化的...
-
「量子大军」出动，中国实验室破解世界级算法难题！MRD码微秒级加密防窃听，6G无人机爆炸性飞跃
近期，「新质生产力」成为备受市场关注的热词，不仅被写入2024政府工作报告，更被列为十大任务之首。 从古至今，人类社会的发展离不开生产力的变革，每一次生产力的变革都让人类社会发生天翻地覆的变化。从工业革命、电气革命到信息革命，生产力与生产关系的变化深刻影...
-
视觉AIGC元年：技术大爆炸！Dalle-3、Sora、Stable Diffusion 3 掀起AIGC新浪潮，究竟有哪些模块值得借鉴！
随着科技的飞速发展，我们迎来了视觉AIGC高光时刻，一个充满无限可能与机遇的新时代。在这个时代里，三大里程碑Dalle-3、Sora和Stable Diffusion 3以其炸裂式的技术发展，引领着AIGC领域的新浪潮。文章首先做相应简要介...
-
相机与激光雷达是怎么标定的？一览行业所有主流的标定工具
本文经自动驾驶之心公众号授权转载，转载请联系出处。 相机与激光雷达的标定是很多任务的基础工作，标定精度决定了下游方案融合的上限，因为许多自动驾驶与机器人公司投入了较大的人力物力不断提升，今天也为大家盘点下常见的Camera-Lidar标定工具箱，建议收...
-
最全总结！机器学习优化算法！
机器学习的最优化算法是用于找到最佳模型参数，以最小化预测误差的算法。这些算法通过迭代地调整模型参数，以不断改进模型的性能。 本文系统地介绍了优化算法，基本脉络是从优化的基础知识，到各种优化算法原理的介绍及代码示例，最后放上各种算法的对比及实践经验总结!...
-
谷歌推出通用AI代理：能自动执行600多种动作，游玩复杂3D游戏
谷歌DeepMind的研究人员推出了一种面向3D环境的通用AI代理——SIMA。 SIMA无需访问游戏的源代码，也不需要定制的API。只需要输入图像和用户提供的简单自然语言文本指令，SIMA就能像人类玩家一样执行走路、跑步、建造、打开地图等各种游戏中的操作...
-
超越：医疗和制药发展的数字孪生前沿
用于患者管理的数字孪生： 通过整合个人的虚拟副本，数字孪生可用于预防性医疗保健。这被称为人类数字孪生，融合了遗传、生活方式和环境因素等因素。其范围从代表整个人体到特定的器官。这些数据是从可穿戴传感器、生活方式信息和临床机构收集的。人类数字孪生还允许创建...
-
从直观物理学谈到认知科学，Sora不是传统物理模拟器盖棺定论了？
本文篇幅很长，主题很多，但循序渐进，对「Sora 究竟是不是世界模拟器」这一说法给出了非常详实的解读。 最近，OpenAI 的文生视频模型 Sora 爆火。除了能够输出高质量的视频之外，OpenAI 更是将 Sora 定义为一个「世界模拟器」（world...
-
浅析b3log采集插件的应用与实践
在信息时代的洪流中，网络数据采集逐渐成为企业数据分析、媒体内容获取和科研机构知识储备等多样化的应用场景下，不可或缺的重要环节。特别是针对海量内容站点的信息攫取，“b3log采集插件”作为一个非常优秀的插件应时而生。通过高智能化的筛选以及方便快捷的自定义设定...
-
开源版OpenAI机器人2.5万打造！斯坦福李飞飞团队祭出「灵巧手」，泡茶剪纸炫技
OpenAI大模型加持的机器人Figure 01，昨天火爆了全网。 而今天，真正「开源版」的擎天柱/Figure 01诞生了，而且背后团队还将成本打了下来。 成本只要3605.59美元！ 它拥有一双灵巧手，就比如泡茶，先是拧开瓶盖，再拿茶镊将茶叶挑进杯...
-
谷歌通用AI智能体发布，3D游戏玩法要变天了
谷歌DeepMind号称打造出了首个能在广泛3D虚拟环境和视频游戏中遵循自然语言指令的通用AI智能体。 名为SIMA，不是NPC，是可以成为玩家拍档，帮忙干活打杂的那种。 比如，在《模拟山羊3》（Goat Simulator 3）中当司机开开车： 在...
-
基于“内容管理框架的采集插件技术探析”
内容管理系统（CMS）的发展紧跟着网络时代信息化的迅猛增势。它的目标不再仅限于文字的表面发布与内容简单的录入编辑操作；相应的，更佳的系统组织架构与用户互动性界面越发为用户带去匹配的写作创作工具和派生影像解读领会技艺能力体验的支持要素需求逐渐在新的具有打造产...
-
开源C++智能语音识别库whisper.cpp开发使用入门
whisper.cpp是一个C++编写的轻量级开源智能语音识别库，是基于openai的开源python智能语音模型whisper的移植版本，依赖项少，内存占用低，性能更优，方便作为依赖库集成的到应用程序中提供语音识别功能。 以下基于whisper.cpp...
-
【ICCV】AIGC时代下的SOTA人脸表征提取器TransFace，FaceChain团队出品
一、论文 本文介绍被计算机视觉顶级国际会议ICCV 2023接收的论文 "TransFace: Calibrating Transformer Training for Face Recognition from a Data-Centric Persp...
-
阿里做了个“绘蛙”，AIGC搞电商营销将成新风口？
“AI电商时代刚刚开始，对谁都是机会，也是挑战”，这是去年11月末，拼多多市值即将追上阿里巴巴时，马云在阿里内网发帖的一部分。毫无疑问，在创始人定调后，AI电商将会成为阿里未来的一个重点。如今阿里的AI电商终于迈出了实质性的一步，一款名为“绘蛙”的AI电商...
-
OpenAI、微软、英伟达…AI巨头牵手养育的Figure,是一家怎样的公司？
撰稿|伊风 出品 | 51CTO技术栈（微信号：blog51cto） 就在昨天，一家名不见经传的初创公司在OpenAI的官宣之下迅速走红。推出Sora之后，OpenAI的动作让业界变得越发敏感。 图片 万万没想到，这家“名不见经传”的初创公司竟然是Fig...
-
Meta AI 发布 MMCSG数据集：使用 Project Aria 捕获的 25 小时以上的双向对话
Meta AI 最近发布了 MMCSG 数据集，该数据集包含使用 Project Aria 录制的25小时以上的双向对话。CHiME-8MMCSG 任务的重点是转录使用智能眼镜录制的对话，这些眼镜配备了多个传感器，包括麦克风、摄像头和惯性测量单元（IMUs...
-
AI智能写作哪个好用？
23年以来，一直爆火的“全能网友”ChatGPT（Generative Pre-trained Transformer）一直霸屏各种热搜。ChatGPT是美国人工智能研究实验室OpenAI开发的一种新款对话型AI模型即俗称的聊天机器人。 Chat...
-
自动驾驶与轨迹预测看这一篇就够了！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 轨迹预测在自动驾驶中承担着重要的角色，自动驾驶轨迹预测是指通过分析车辆行驶过程中的各种数据，预测车辆未来的行驶轨迹。作为自动驾驶的核心模块，轨迹预测的质量对于下游的规划控制至关重要。轨迹预测任务技术栈...
-
南大俞扬深度解读：什么是「世界模型」？
随着媒体狂炒Sora，OpenAI的介绍材料中称Sora是「world simulator」，世界模型这个词又进入视野，但很少有文章来介绍世界模型。 这里回顾一下什么是世界模型，以及讨论Sora是不是world simulator。 什么是world...
-
LeCun怒斥Sora是世界模型，自回归LLM太简化了
最近几天，Sora 成为了全世界关注的焦点。与之相关的一切，都被放大到极致。 Sora 如此出圈，不仅在于它能输出高质量的视频，更在于 OpenAI 将其定义为一个「世界模拟器」（world simulators）。 英伟达高级研究科学家 Jim Fa...
-
爆火Sora的背后 | 聊聊什么是world models！
本文经自动驾驶之心公众号授权转载，转载请联系出处。 随着媒体狂炒Sora，OpenAI的介绍材料中称Sora是 “world simulator”，世界模型这个词又进入视野，但很少有文章来介绍世界模型。这里回顾一下什么是世界模型，以及讨论Sora是不是...
-
聊聊视觉惯性里程计的IMU预积分模型
为什么工程实践中我们使用视觉与IMU融合的解决方案即视觉惯性里程计（VIO）来估计运动而不是简单地使用视觉里程计（VO）。视觉惯性里程计的传感器主要包括相机和惯性测量单元（IMU）两种传感器各有优缺点，VIO的优势就在于IMU与相机的互补性。 视觉传感器...
-
OpenAI为ChatGPT加入记忆功能！可以记住你的提问内容啦
2月14日凌晨，OpenAI在官网宣布，正在测试ChatGPT记住用户提问内容的能力，同时可以自由控制其内存。 该功能使用户不必频繁地提问相同的内容，ChatGPT都将记住那些内容并对长对话、个性化聊天等，例如，写长文小说;长期健康追踪;个性化编程习惯等，...
-
AIGC时代：大模型ChatGPT的技术实现原理、行业实践以及商业变现途径
大数据与人工智能实战专家—周红伟老师 法国科学院数据算法博士/曾任猪八戒大数据科学家/曾任马上消费金融风控负责人 课程背景 2023年，以ChatGPT为代表的接近人类水平的对话机器人，AIGC不断刷爆网络，其强大的内容生成能力给人们带来了巨大的震撼...
-
端到端纯视觉！OpenAI押注的人形机器人献艺拜年了
大过年的，OpenAI投资的人形机器人，通过最新视频拜年了（doge） 有俩人上来就表演了一个从货架取包裹，转身放进筐里: 镜头继续推进，旁边靠墙的两个机器人，在不停地将俄罗斯方块积木举起-丢下-再举起。 另一边，充好电的机器人，温柔地拔掉插销，微微半...
-
20240131在WIN10下配置whisper
20240131在WIN10下配置whisper 2024/1/31 18:25 首先你要有一张NVIDIA的显卡，比如我用的PDD拼多多的二手GTX1080显卡。【并且极其可能是矿卡！】800￥ 2、请正确安装好NVIDIA最新的545版本的驱动程序...
-
Stable Diffusion 基本原理
1 Diffusion Model的运作过程 输入一张和我们所需结果图尺寸一致的噪声图像，通过Denoise模块逐步减少noise，最终生成我们需要的效果图。 图中Denoise模块虽然是同一个，但是它会根据不同step的输入图像和代表noise严重程...
-
【深度学习】SDXL tensorRT 推理，Stable Diffusion 转onnx，转TensorRT
文章目录 1 sdxl 转 diffusers 2 转onnx 3 转TensorRT 1 sdxl 转 diffusers juggernautXL_version6Rundiffusion.safetensors文件...
-
徒手搬螺丝，波士顿动力Atlas再进化：兄弟们，准备进厂了
在如今颇为火热的人形机器人赛道，波士顿动力是较早入局的一位选手。 过去几年，Atlas 人形机器人的动态跑酷能力已经让全世界的关注，后来我们还看到 Atlas 在模拟建筑工地上搬搬扛扛。Atlas 目前仍然是一个开发平台，尚不能在现实世界中工作，一部分原...
-
AI读心术再升级！一副眼镜直接控制波士顿机器狗，脑控机器人成真
还记得之前的AI读心术吗？最近，「心想事成」的能力再次进化， ——人类可以通过自己的想法直接控制机器人了！ 来自麻省理工的研究人员发表了Ddog项目，通过自己开发的脑机接口（BCI）设备，控制波士顿动力的机器狗Spot。 狗狗可以按照人类的想法，移动到特...
-
登Nature子刊，滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来
模拟当今量子计算设备的一个关键挑战，是学习和编码量子比特之间发生的复杂关联的能力。基于机器学习语言模型的新兴技术已经显示出学习量子态的独特能力。 近日，加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《La...
-
Single-Head ViT；Faster Whisper；Transformer KF；Pick-and-Draw
本文首发于公众号：机器感知 Single-Head ViT；Faster Whisper；Transformer KF；Pick-and-Draw SHViT: Single-Head Vision Transformer with Memory Ef...
-
【书籍】强化学习第二版（英文版电子版下载、github源码）-附copilot翻译的中英文目录...
Python代码：https://github.com/ShangtongZhang/reinforcement-learning-an-introduction 英文原版书籍下载：http://incompleteideas.net/bo...
-
数据为王！如何通过数据一步步构建高效的自动驾驶算法？
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 下一代自动驾驶技术期望依赖于智能感知、预测、规划和低级别控制之间的专门集成和交互。自动驾驶算法性能的上限一直存在巨大的瓶颈，学术界和业界一致认为，克服瓶颈的关键在于以...
-
学习AIGC大模型必知的强化学习RL的核心代码示例，速进！！！
Look！?我们的大模型商业化落地产品 ?更多AI资讯请??关注 Free三天集训营助教在线为您火热答疑??? 在人工智能的发展历程中，强化学习（RL）已成为推动技术突破的关键动力，尤其在自动化内容生成（AIGC）和大型语言模型（LLM）的领域中...
-
马斯克：正和擎天柱一起散步
特斯拉机器人叠衣服刚掀热潮，短短几天，马斯克又晒擎天柱“散步”视频，再次引来大量网友围观。 只见偌大的工厂里，擎天柱悠哉悠哉的一步两步，首先可以肯定的是没有顺拐： 腿部动作比之前更自然一些，速度也比以前快了不少： 也可以看到脚后跟先着地这样的细节处...
-
微软OpenAI计划1亿美元投向人形机器人！网友纷纷喊话马斯克
微软、OpenAI开年被曝预将大笔资金砸向一家人形机器人初创公司。 其中，微软计划掏出9500万美元，OpenAI跟投500万美元。 彭博社消息称，这家公司本轮预计共要融资5亿美元，投前估值或将达到19亿美元。 是什么吸引了他们？不妨先来看一下这家公司的...
-
近200+自动驾驶数据集全面调研！一览如何数据闭环全流程
写在前面&个人理解 自动驾驶技术在硬件和深度学习方法的最新进展中迅速发展，并展现出令人期待的性能。高质量的数据集对于开发可靠的自动驾驶算法至关重要。先前的数据集调研试图回顾这些数据集，但要么集中在有限数量的数据集上，要么缺乏对数据集特征的详细调查...
-
云端车端MapNeXt全搞定！面向下一代在线高精地图构建
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 在协作、互联和自动化移动（CCAM）中，智能驾驶车辆对周围环境的感知、建模和分析能力越强，它们就越能意识到并能够理解、做出决策，以及安全高效地执行复杂的驾驶场景。高精...