-
【AIGC】Baichuan2-13B-Chat模型微调
环境 微调框架：LLaMA-Efficient-Tuning 训练机器：4*RTX3090TI (24G显存 python环境：python3.8, 安装requirements.txt依赖包 一、Lora微调 1、准备数据集 2、训...
-
大模型走捷径「刷榜」？数据污染问题值得重视
生成式 AI 元年，大家的工作节奏快了一大截。 特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要 Benchmark 榜单，要么排第一，要么第一梯队。 在兴奋于技术进展速...
-
GPT-4要革程序员的命？智能开发的理想与现实 | 爱分析调研
“生成式人工智能（AIGC）将在三年内终结编程。” ——Matt Welsh，前哈佛大学计算机科学教授、Google 工程主管 GPT-4 也许还不完美，但智能开发时代真的来了 美国时间3月14日，OpenAI 正式发布 GPT-4，在 Ch...
-
用语言对齐多模态信息，北大腾讯等提出LanguageBind，刷新多个榜单
在现代社会，信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里，声音、视频、文字和深度图等模态信息相互交织，共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中，同样也是机器理解世界所必须面对的挑战。 如何让机器像人类...
-
GPT-5明年降临？爆料人泄露多模态Gobi就是GPT-5，已初现自我意识
【新智元导读】首届开发者大会余温还在，GPT-5突然被爆2024年初就来。OpenAI首秀可谓是赚足了眼球，一系列新品更新，直接让ChatGPT和API同时崩溃。 OpenAI首届开发者大会，就是一场AI盛宴。 GPT-4Turbo、大幅降价、面向开发者新...
-
【云栖2023】林伟：大数据AI一体化的解读
本文根据2023云栖大会演讲实录整理而成，演讲信息如下： 演讲人：林伟 | 阿里云研究员，阿里云计算平台事业部首席架构师，阿里云人工智能平台PAI和大数据开发治理平台DataWorks负责人 演讲主题：大数据AI一体化的解读 今年是AI大爆发的一年，...
-
Hugging Face 的 H4 两人团队正在开发类似 ChatGPT 的人工智能聊天机器人
人工智能初创企业 Hugging Face 近日宣布，其由两人组成的 H4 团队正致力于开发工具和「配方」，以帮助 AI 社区构建类似于 ChatGPT 的人工智能聊天机器人。自 ChatGPT 发布以来，H4 团队的成立便是为了复制其功能，使用开源库和模...
-
【AI绘画】《超入门级教程：训练自己的LORA模型》，MM超爱的萌宠图片实战
目录 前言 一、SD-Trainer webui使用介绍 二、准备工作 2-1、登录在线训练平台 2-2、购买算力并创建工作空间 2-3、启动工作空间 三、开始训练 3-1、打开终端 3-2、准备训练数据 3-3、准备模型文件 3-3-...
-
受八位合著者举报，引爆物理圈的室温超导论文被Nature撤稿，一作正接受调查
经历了大起大落，室温超导的喧嚣终于在 2023 年底告一段落。 11 月 7 日，《Nature》杂志宣布，撤回今年 3 月 Ranga Dias 团队发表的室温超导论文。 对于在过去一年数次引爆物理圈的室温超导领域来说，这是一次新的打击。 人们或许还...
-
【AI画画教程】无整合包使用LoRA和Dreambooth训练全流程详解（Linux）
前言 本教程遵循简单原则，不使用任何民间整合包。 目前很多AI画画训练整合包臃肿复杂，教程也是名词乱炖，容易对初学者造成理解误差和使用困难。因为许多整合包都依赖于sd-scripts库，它自身就能支持绝大多数的训练场景，学会这个后，自己也可以根据自己...
-
北大具身智能团队提出需求驱动导航，对齐人类需求，让机器人更高效
如果想让机器人帮助你，你通常需要下达一个较为精准的指令，但指令在实际中的实现效果不一定理想。如果考虑真实环境，当要求机器人找某个特定的物品时，这个物品不一定真的存在当前的环境内，机器人无论如何也找不到；但是环境当中是不是可能存在一个其他物品，它和用户要求...
-
虚拟绑架：人工智能正在助长勒索诈骗
如果你的配偶或子女打来电话，哭着告诉你他们被绑架了，你有多大可能会以冷静、审慎的怀疑态度来面对呢？ 在人工智能时代的背景下，网络攻击者能将从网络入侵、社交媒体信息搜集等渠道获得的数据与AI相结合，用逼真的手法制造“某人被绑架”的网络骗局。 虚拟绑架如何...
-
ChatGPT泄露陌生男子自拍照！隐私数据被模型偷了？网友大恐慌
【新智元导读】原来，这竟然也是ChatGPT的幻觉? 最近，ChatGPT响应中蹦出陌生男子照片事件，让许多网友们震惊了! 事情是这样的，一名用户向ChatGPT求助——Python中的代码格式化包back该怎样使用。 开始，ChatGPT的回答还很正常。...
-
10分钟定制一个「陈天奇GPT」，OpenAI新品大波实测来袭！Sam Altman降维打击，千家AI初创公司入土
OpenAI首届春晚，创业公司屠杀夜。 正如Sam Altman所言：「我们正在孕育新物种，它们正在迅速增殖。」 图片 可以说，基于OpenAI接口构建创业公司，产品忽然就失去了意义。许多初创公司的产品，已经没有了护城河。 杜克大学教授陈怡然表示，照这个...
-
Copilot 的训练数据集是如何生成的？是否包含开源项目的代码？
GitHub Copilot 是一款基于人工智能的代码自动生成工具，它是由 GitHub 与 OpenAI 合作开发的。为了让 Copilot 能够学习大量的代码片段，从而能够为开发者生成高质量的代码，它需要依赖海量的训练数据集。本文将深入探讨 Copil...
-
IBM设立5亿美元风险基金 用以投资AI初创公司
IBM宣布成立了一项5亿美元的企业AI风险基金，旨在投资各类人工智能公司，从初创企业到高增长企业不等。这一举措是IBM在人工智能领域的最新投资，旨在推动企业领域的生成式人工智能（GenAI）技术研究和发展。 IBM的企业AI风险基金的目标是加速企业领域的...
-
消息称亚马逊投资数百万美元培训巨大AI模型“Olympus”
亚马逊正投资数百万美元，致力于培训一个雄心勃勃的大型语言模型，该模型被代号为“Olympus”，希望能够与OpenAI和Alphabet的顶级模型竞争。据两位知情人士向路透社透露，这一消息令外界瞩目，但亚马逊拒绝置评。 图源备注:图片由AI生成，图片授权...
-
基于趋动云部署秋葉aaaki的Stable Diffusion整合包v4--linux版
B站大V秋葉aaaki的Stable Diffusion整合V4版发布了，集成度比较高，在windows下解压缩直接就可以使用，整合的非常好。但是笔人没有RTX4090这样级别的显卡，又希望有个高速运行的效果。 所以索性到云GPU主机上来用秋叶aaaki...
-
AIGC时代，我们如何使用“黑科技”，解决图像信息安全
前言 在当今社会，图像是信息传播和表达的重要方式之一。但是，随着技术的进步，人们可以轻松使用各种图像编辑软件来篡改、伪造图片，制造出看似真实但实际上虚假的场景。 这种现象无疑是给社会带来了一系列负面影响。首先，大量基于虚假图片产生的诈骗案件层出不穷。...
-
矢量数据库如何增强生成式人工智能
矢量数据库充当法学硕士和外部信息之间的桥梁，为生成式人工智能系统提供基本功能。 以ChatGPT为代表的生成式人工智能(GenAI 的出现和大型语言模型(LLM 的兴起，重塑了我们对人工智能潜力的看法。这些发展不仅改变了开发人员构建人工智能应用的方式，...
-
上海大模型发展11条：支持大模型人才落户
上海市经信委发布了《上海市推动人工智能大模型创新发展若干措施（2023-2025年）》，旨在推动大规模预训练模型(大模型 的创新发展。 措施提出了以下主要内容:支持大模型创新能力，包括实施大模型创新扶持计划和建立大模型测试评估中心;提升创新要素供给能级，包...
-
研究警告:到2026年，AI训练数据可能告急
随着人工智能（AI）达到巅峰，研究人员警告称，AI行业可能会面临训练数据告急的问题，这是强大AI系统的燃料。这可能会减缓AI模型的增长，特别是大型语言模型，并可能改变AI革命的轨迹。 为了训练强大、准确和高质量的AI算法，我们需要大量数据。例如，ChatG...
-
AIGC专栏7——EasyPhoto 人像训练与生成原理详解
AIGC专栏7——EasyPhoto 人像训练与生成原理详解 学习前言 源码下载地址 为什么是Lora EasyPhoto的训练流程 1、数据的预处理 a、人像排序 i、人脸特征向量提取过程 ii、人脸偏移角度计算 iii、人像排序 b...
-
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM-2/LLaMA-2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】 的简介、...
-
AIGC实战——深度学习 (Deep Learning, DL)
AIGC实战——深度学习 0. 前言 1. 深度学习基本概念 1.1 基本定义 1.2 非结构化数据 2. 深度神经网络 2.1 神经网络 2.2 学习高级特征 3. TensorFlow 和 Keras 4. 多层感知器 (MLP ...
-
【AI绘画--七夕篇】：如何训练Lora模型打造令人惊叹的AI绘画
目录 前言 一、? 选择合适的云端平台 1-1、云端平台的优势 1-2、选择适合的云端平台 二、? 账号注册 三、? 开始炼丹 3-1、购买算力并创建工作空间 3-2、启动工作空间 3-3、应用市场一键安装 四、? 使用Stable-D...
-
语音识别开源框架 openAI-whisper
Whisper 是一种通用的语音识别模型。 它是OpenAI于2022年9月份开源的在各种音频的大型数据集上训练的语音识别模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。 GitHub - yeyupiaoling/Whispe...
-
万字长文解读Stable Diffusion的核心插件—ControlNet
目录 一、介绍 二、使用方法 三、ControlNet结构 1.整体结构 2.ControlLDM 3.Timestep Embedding 4.HintBlock 5.ResBlock 6.SpatialTransformer 7.S...
-
带你认识一下多模态对比语言图像预训练CLIP
本文分享自华为云社区《多模态对比语言图像预训练CLIP：打破语言与视觉的界限》，作者：汀丶。 一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GP...
-
Stable Diffusion Lora模型训练详细教程
1. 介绍 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好...
-
从概念到现实：ChatGPT 和 Midjourney 的设计之旅
? 个人网站:【工具大全】【游戏大全】【神级源码资源网】 ? 前端学习课程：?【28个案例趣学前端】【400个JS面试题】 ? 寻找学习交流、摸鱼划水的小伙伴，请点击【摸鱼学习交流群】 在现代技术的世界中，人工智能（AI）正迅速演化，并对我们的生活产...
-
文生图大型实践：揭秘百度搜索AIGC绘画工具的背后故事！
作者 | Tianbao 导读 2023年以来，AIGC技术已催生了新一轮人工智能浪潮。AI绘画作为大模型最引人瞩目的应用领域之一，近年来也取得了重大突破。AI绘画系统可以根据用户的输入或提示生成各种风格的图像，这为艺术家、设计师和创作者提供...
-
重磅 |《3D人脸数据采集标注要求及方法》技术规范发布！
目前，人脸识别已走进我们的生活，在机场安检、上班考勤、银行开户、网上支付等各个场合乎随处可见。现在主流的技术基于摄像头类型人脸识别有两种，基于2D人脸识别或基于3D人脸识别，这些都有实际商用的案例。但是由于3D图像还可以获取距离信息，对照片欺骗等具有更好的...
-
eBPF 实践 -- 网络可观测
简介 观测云采集器，是一款开源、一体式的数据采集 Agent，它提供全平台操作系统支持，拥有全面数据采集能力，涵盖基础设施、指标、日志、应用性能、用户访问以及安全巡检等各种场景。通过 eBPF 技术的引入，观测云采集器实践了网络传输层和应用层的部分协议的...
-
如何自动化采集数据？
举个例子，你做量化投资，基于大数据预测未来股票的波动，根据这个预测结果进行买卖。你当前能够拿到以往股票的所有历史数据，是否可以根据这些数据做出一个预测率高的数据分析系统呢？ 实际上，如果你只有股票历史数据，你仍然无法理解股票为什么会产生大幅的波动。比如，...
-
大数据导论（三：大数据的采集及预处理）
1、大数据采集 1.1 大数据采集概念 数据采集（DAQ）又称数据获取，通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。 1.2 常用的数据采集方式 大数据的采集通常采用...
-
浅谈网络爬虫
浅谈网络爬虫 什么是网络爬虫？ 爬虫能干什么 搜索引擎 抢票、刷票等自动化软件 部分破解软件 金融等行业数据挖掘、分析数据来源 其他 爬虫很简单 语言的选择 两种语言的小demo 爬虫也不简单 ip、浏览器头(User-Agent 、...
-
【监控体系】全面系统的Zabbix讲解 | 含源码&监控类型整理
主讲人：王鸿杰，云智慧/企业效能部/架构师 讲师简介：云智慧架构师，PHP/PECL 开发组成员，PECL/SeasClick、PECL/SeasLog Maintainer。6 年研发经验，2018 年加入透视宝团队，致力于 APM 产品的架构与研发...
-
数据采集及预处理——针对“数据”“采集”“预处理”的理解与解析
数据采集及预处理——大数据的关键技术之一 文章目录 数据采集及预处理——大数据的关键技术之一 前言 数据采集与预处理是大数据学习的重要部分； 本篇笔记是对《数据采集与预处理》这个标题的解析 ， 我将它分为三个词语进行了详细的理解； 因为...
-
08 | 数据采集：如何自动化采集数据？
上一节中我们讲了如何对用户画像建模，而建模之前我们都要进行数据采集。数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样。 举个例子，你做量化投资，基于大数据预测未来...
-
使用百度EasyDL实现电动车进电梯自动预警
项目说明 业务背景 近年来，电动车进楼入户发生火灾的事故屡见不鲜，针对该问题，社区物业已明令禁止电动车入户，但是依然有住户忽视这个问题的严重性。 业务难点 由于小区电梯多，人工监控很难及时发现电瓶车入户违规，最终造成严重的人员伤亡事故。 同...
-
1.网络爬虫概述
目录 导读 一、网络爬虫是什么？ 二、数据如何产生？ 三、有哪些数据获取途径？ 四、爬虫可以做什么？ 五、网络爬虫的分类 六、爬虫开发中有哪些技术？ 七、开发环境准备 八、学习建议 导读 通过本篇文章的阅读，你将简单了解网络爬虫...
-
大数据项目实战——基于某招聘网站进行数据采集及数据分析（一）
大数据项目实战 第一章 项目概述 文章目录 大数据项目实战 第一章 项目概述 学习目标 一、项目需求和目标 二、预备知识 三、项目架构设计及技术选取 四、开发环境和开发工具介绍 五、项目开发流程 总结 学习目标 掌...
-
玩转大数据系列之一：数据采集与同步
数据的采集和同步，是先将数据从设备、或者本地数据源采集、同步到阿里云上，然后在阿里云上对数据进行分析和处理，最终完成您的业务要求。本文向您介绍阿里云各产品的数据采集和同步的操作实战文章，您可以根据您使用阿里云产品，查看相应的文档教程。 关于数据采集，Da...
-
大数据（四）大数据采集
说明 本博客每周五更新一次。 数据处理分为入库、计算和输出，本文主要分享数据入库。 数据采集 数据采集是大数据平台数据处理流程的第一步，如何让数据以合适的效率和方式在大数据平台落地，根据场景不同，有着不同方案。一般情况如下。 实时数...
-
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
文章目录 1.1 大数据概述 1.1.1 大数据时代 1.1.2 大数据的概念 1.1.3 大数据的特征 1.1.4 大数据的应用 1.1.5 大数据关键技术 1.1.6 大数据处理流程 1.2 大数据采集技术概述 1.2.1 数据采集与...
-
大数据的关键技术之——大数据采集
大数据的关键技术之——大数据采集 本文目录： 一、写在前面的话 二、大数据采集概念 三、大数据采集步骤 3.1、大数据采集步骤（总体角度） 3.2、大数据采集步骤（数据集角度） 3.3、大数据采集步骤（数据集角度） 四、数据源与数据类型...
-
手机被“秒解锁”？活体检测+3D人脸识别让刷脸更安全
如今，人们使用智能手机进行刷脸解锁、刷脸支付就像吃饭喝水一样自然。人脸识别技术的进步为人们的日常生活带来了诸多便利，但同时也引发了隐私安全问题。 近日，来自清华的 Real AI（瑞莱智慧）展示了一项简单的攻击技术：测试者佩戴了一副含有对抗样本图案的眼镜...
-
Flink CDC + Hudi 海量数据入湖在顺丰的实践
本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括： 顺丰数据集成背景 Flink CDC 实践问题与优化 未来规划 点击查看直播回放 & 演讲PDF...
-
智能工厂数据采集方案
智能工厂是在数字化工厂的基础上，以实现生产过程和经营业务最优化为目的，利用物联网技术和监 控技术加强信息管理服务，提高生产过程可控性、减少生产线人工干预，合理计划排程，实现信息统一， 集团化统一监控，实现产品生...