-
AIGC实战——自回归模型(Autoregressive Model)
AIGC实战——自回归模型 0. 前言 1. 长短期记忆网络基本原理 2. Recipes 数据集 3. 处理文本数据 3.1 文本与图像数据处理的差异 3.2 文本数据处理步骤 4. 构建 LSTM 模型 4.1 模型架构 4.2 LS...
-
2024年大数据展望：数据满足GenAI
去年初，谁能想到GenAI和ChatGPT会抢占先机? 一年前，我们预测数据、分析和AI提供商最终会抽出时间来简化和重新思考现代数据堆栈，这是一个我们已经接近和热爱了一段时间的话题。作为分布式企业中数据治理的解决方案，也有很多关于数据网格的讨论和担忧，...
-
专补大模型短板的RAG有哪些新进展？这篇综述讲明白了
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。 然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏...
-
嵌入和矢量数据库实操指南
译者 | 布加迪 审校 | 重楼 这场革命的核心是矢量数据库概念，这一突破性发展正在重塑我们处理复杂数据的方式。与传统的关系数据库不同，这种数据库具有管理和处理高维矢量数据的独特功能，这种数据是许多AI 和机器学习应用所固有的。随着我们更深入研究先进AI...
-
百度文心一言文心千帆大模型 ERNIE-Bot-turbo调用示例（golang版本）
百度的文心一言推出来也有一段时间了，但是接口部分一直没有公开，需要进行申请 最近，有朋友提供了文心千帆大模型的api权限，拿到了必须的参数，现在就来测试一下 下面是使用golang封装的文心千帆 ERNIE-Bot-turbo模型的调用示例...
-
2024年非结构化数据管理将以四种方式发生变化
如果说经济好的时候、坏的时候、不确定的时候、稳定的时候有一个不变的东西的话，那就是我们对大多数非结构化数据的依赖，以及我们从海量数据收集中得出的分析。非结构化数据是指当今公司的文档、图像、音频和视频文件、传感器数据和研究数据。 想想监控和车载摄像头视频...
-
四分钟成功复现诺奖！CMU开发GPT-4化学家，自主编码操控机器人颠覆化学研究登Nature
ChatGPT大模型爆火这一年，没想到竟颠覆了整个化学领域。 先是谷歌DeepMind的AI工具GNoME成功预测出200万种晶体结构，随后微软推出的MatterGen，大大加速了设计所需材料特性的速度。 今天，CMU和Emerald Cloud Lab...
-
Meta发布全新AI翻译大模型，实时语音转换不超2秒
Meta最新发布了一系列AI翻译大模型，标志性地实现了实时语音转换延迟不超过2秒的能力。这一系列模型名为Seamless Communication，包括SeamlessExpressive、SeamlessStreaming、SeamlessM4T v2...
-
用于备份和灾难恢复的生成式 AI 工具仍处于早期阶段
备份软件供应商已经推出了用于自动化和虚拟助手的生成式 AI 工具，但这些新增功能如何增强企业工作流程还有待观察。 数据备份和灾难恢复供应商希望他们的生成式 AI 助手成为您企业最好的朋友，但即使经过近一年的炒作和销售，其好处也不明显。 这些用于备份和灾...
-
实时湖仓技术选型，企业如何借实时湖仓赢在“数据驱动”时代
在之前三期的实时湖仓系列文章中，我们从业务侧、产品侧、应用侧等几个方向，为大家介绍了实时湖仓方方面面的内容，包括实时湖仓对于企业数字化布局的重要性以及如何进行实时湖仓的落地实践等。 本文将从纯技术的角度，为大家解析实时湖仓的存储原理以及生态选型，为企业建...
-
谁能更好地检测深度伪造？人还是机器？
译者 | 陈峻 审校 | 重楼 不知您是否听说过深度伪造（Deepfakes）这种欺诈应用？由它产生的各种虚假信息已威胁到了人类社会的方方面面。随着人工智能技术的进步，我们亟待提升识别虚假内容的能力。那么在实际检测假新闻可信度等用例时，到底是人类还是机器...
-
谷歌AI联合佛罗里达高校发布开源虚拟人物库“VALID” 含210个全套虚拟人物
谷歌AR&VR与佛罗里达中央大学的研究团队合作，发布了一项名为“VALID”的虚拟人物库，旨在促进多样性和包容。该库包含210个经过验证的、完全配备的虚拟人物，代表七个不同的种族，其中包括亚洲、黑人和白人等。研究采用了全球参与者，并通过数据驱动的面...
-
低代码！小白用10分钟也能利用flowise构建AIGC| 业务问答 | 文本识别 | 网络爬虫
一、与知识对话 二、采集网页问答 三、部署安装flowise flowise工程地址：https://github.com/FlowiseAI/Flowise flowise 官方文档：https://docs.flowiseai.co...
-
ChatGPT与Google Bard那个更好？
AIGC 行业最大的两个竞争对手：ChatGPT vs Google Bard! 本文介绍这两个人工智能引擎之间的技术差异。 截至目前Google Bard和ChatGPT之间最大的区别是：Bard知道ChatGPT，但ChatGPT却对Bard懵然不知。...
-
一条磁力链接席卷AI圈，87GB种子直接开源8x7B MoE模型
「高端」的开源，往往采用最朴素的发布方式。 昨天，Mistral AI 在 X 平台甩出一条磁力链接，宣布了新的开源动作。 没有长篇官方博客，没有刻意加速的 Demo，这家公司算是当下大模型领域的「一股清流」。 打开一看，发现是接近 87 GB 的种子...
-
使用Stable Diffusion进行Ai+艺术设计(以智慧灯杆为例)
目录 一. 安装环境 二. 配置模型 2.1 stable diffusion v1 2.2 运行并测试生成效果 Stable Diffusion 是一种以 CLIP ViT-L/14 文本编码器的（非池化）文本嵌入为条件的潜在扩散...
-
Koala：加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来，围绕它开发的模型与日俱增，比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等，相关的博客可以参考如下： 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca（羊驼），训练3小时...
-
使用 LoRA 进行 Stable Diffusion 的高效参数微调
LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3 通常在为了适应其下游任...
-
数据资产入表在即，企业如何把握机遇，进行数据资产管理？
数据作为新时代重要的生产要素之一，数据资产化的相关工作正在提速。自今年10月1日起，中国资产评估协会制定的《数据资产评估指导意见》正式施行。同时，《企业数据资源相关会计处理暂行规定》近期转为正式稿，也将于明年1月1日起施行。 《暂行规定》规定：企业使用的...
-
云上使用 Stable Diffusion ，模型数据如何共享和存储
随着人工智能技术的爆发，内容生成式人工智能（AIGC）成为了当下热门领域。除了 ChatGPT 之外，文本生成图像技术更令人惊艳。 Stable Diffusion，是一款开源的深度学习模型。与 Midjourney 提供的直接将文本转化为图像的服务不同...
-
没有数据智能的人工智能是人工的
å¾ç 你在工作中看过机器人吸尘器吗？它一开始很有趣，当你看到它错过了你想要它清洗的一块污垢时，它变得越来越恼人。人工智能的前景是一样的。它可以使日常工作自动化，并带来显著的实际价值；但如果你不小心，你可能会花大部分时间反复撞到同一面墙上，或者在第...
-
澳大利亚政府成立AI版权参考小组，应对人工智能与版权挑战
澳大利亚政府于周二宣布成立一个专注于版权与人工智能问题的参考小组，以解决随着生成式AI技术迅速增长而出现的最大问题之一。 澳大利亚总检察长马克·德雷弗斯于周二宣布了这一参考小组的成立，该小组将协助联邦政府更好地应对由人工智能的增加使用所带来的未来版权挑战。...
-
通过Whisper模型将YouTube播放列表中的视频转换成高质量文字稿的项目
项目简介 一个通过Whisper模型将YouTube播放列表中的视频转换成高质量文字稿的项目。 这个基于 Python 的工具旨在将 YouTube 视频和播放列表转录为文本。它集成了多种技术，例如用于转录的 Fast-Whisper、用于自然语言处理...
-
构建大规模数据存储解决方案：探索MongoDB的横向扩展
MongoDB是一个非常适合构建大规模数据存储解决方案的NoSQL数据库。它通过横向扩展的方式来应对不断增长的数据量和负载需求。下面将详细介绍MongoDB的横向扩展机制，并探索如何使用MongoDB来构建高性能、可伸缩的大规模数据存储解决方案。 横向扩...
-
Stable Diffusion的使用以及各种资源
Stable Diffsuion资源目录 SD简述 sd安装 模型下载 关键词，描述语句 插件管理 controlNet 自己训练模型 SD简述 Stable Diffusion是2022年发布的深度学习文本到图像生成模型。它主要...
-
亚马逊AWS欲在GenAI领域和微软展开竞争
在周一接受VentureBeat采访时，亚马逊AWS负责数据和AI的副总裁斯瓦米·西瓦苏布拉曼尼亚负责监管所有AWS数据库、分析、ML和GenAI服务，他概述了周三上午的主旨演讲和周二上午AWS首席执行官亚当·塞利普斯基的主旨演讲。 他说，围绕GenA...
-
深度解读AIGC存储解决方案
5月26日，2023数据基础设施技术峰会在苏州举办，腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用，通过对AIGC业务流程和场景的提炼，从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回...
-
人类考92分的题，GPT-4只能考15分：测试一升级，大模型全都现原形了
AutoGPT 的得分也凉凉。 GPT-4自诞生以来一直是位「优等生」，在各种考试（基准）中都能得高分。但现在，它在一份新的测试中只拿到了15分，而人类能拿92。 这套名叫「GAIA」的测试题由来自 Meta-FAIR、Meta-GenAI、Hugging...
-
大宗商品贸易集团数据治理实践，夯实数字基座 | 数字化标杆
某大型央企是首批全国供应链创新与应用示范企业，在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主，其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。 随着集团数字化转型不断深化，...
-
数据分层：打造数据资产管家
一、引言 随着企业数据规模的增长，数据的价值变得越来越重要。然而，传统的数据库在承载大量数据时面临挑战，需要高效有序的维护。因此，建立高效的数据仓库成为了企业决策和管理的基石，但现代技术的背景下，数据管理和保护仍然存在着重要挑战。 为了解决这些挑战，数...
-
用检索增强生成让大模型更强大，这里有个手把手的Python实现
本文首先将关注 RAG 的概念和理论。然后将展示可以如何使用用于编排（orchestration）的 LangChain、OpenAI 语言模型和 Weaviate 向量数据库来实现一个简单的 RAG。 检索增强生成是什么？ 检索增强生成（RAG）这一...
-
GenAI时代的数据治理蓝图
随着我们深入ML和GenAI领域，对数据质量的重视变得至关重要。KMS Technology高级技术创新小组的首席技术官John Jeske深入研究了数据治理方法，如数据沿袭跟踪和联合学习，以确保顶级模型的性能。 数据质量是模型可持续性和利益相关者信...
-
【2023云栖】大模型驱动DataWorks数据开发治理平台智能化升级
随着大模型掀起AI技术革新浪潮，大数据也进入了与AI深度结合的创新时期。2023年云栖大会上，阿里云DataWorks产品负责人田奇铣发布了DataWorks Copilot、DataWorks AI增强分析、DataWorks湖仓融合数据管理等众多新产品...
-
微软用GPT-4V解读视频，看懂电影还能讲给盲人听，1小时不是问题
世界各地的人们每天都会创造大量视频，包括用户直播的内容、短视频、电影、体育比赛、广告等等。 视频是一种多功能媒介，可以通过文本、视觉和音频等多种模态传递信息和内容。如果可以开发出能学习多模态数据的方法，就能帮助人们设计出具备强大能力的认知机器 —— 它不...
-
Stable Diffusion人工智能图像合成
AI 图像生成大有来头。新发布的开源图像合成模型称为Stable Diffusion，它允许任何拥有 PC 和像样的 GPU 的人想象出他们能想象到的几乎任何视觉现实。它几乎可以模仿任何视觉风格，如果你给它输入一个描述性的短语，结果就会像魔术一样出现在你的...
-
AIGC 爆火，浪潮信息要做大模型的数据存储大底座
AIGC 在 2023 年爆火，各类大模型层出不穷，参数动辄达到千亿数量级。这些背后，数据的类型和形式也走向复杂多样。例如大模型会采用到我们真实物理世界中的文字、视觉、音频、3D、雷达、多谱等复杂多样的不同模态信号和数据，数据则又存在结构化、半结构化、非结...
-
Whisper、React 和 Node 构建语音转文本 Web 应用程序
在本文中，我们将使用 OpenAI 的 Whisper 以及 React、Node.js 和 FFmpeg 构建一个语音转文本应用程序。该应用程序将获取用户输入，使用 OpenAI 的 Whisper API 将其合成为语音，并输出结果文本。Whisper...
-
AI生成巴以冲突虚假图片，以假乱真被媒体引用
随着巴以冲突的持续，相关新闻事件报道层出不穷，一些虚假内容也开始混入其中，让人真假难辨。最近，由AI生成、反映巴以冲突现场的图片出现在知名图片库 Adobe Stock 中，并被一些新闻媒体采用。 作为一家积极拥抱生成式人工智能的图片库，Adobe S...
-
在 LangChain 尝试了 N 种可能后，我发现了分块的奥义！
分块（Chunking）是构建检索增强型生成（RAG）应用程序中最具挑战性的问题。分块是指切分文本的过程，虽然听起来非常简单，但要处理的细节问题不少。根据文本内容的类型，需要采用不同的分块策略。 在本教程中，我们将针对同一个文本采用不同的分块策略，探索不...
-
数仓项目之用户行为数据采集
一、什么是数据仓库 数据仓库是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程，提高产品质量。 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。 二、项目需求分析 1、用户行为数据采集平台搭建 2、业务数据采集平台...
-
国内最具影响力科技创投媒体36Kr的容器化之路
本文由1月19日晚36Kr运维开发工程师田翰明在Rancher技术交流群的技术分享整理而成。微信搜索rancher2，添加Rancher小助手为好友，加入技术群，实时参加下一次分享~ 田翰明，36Kr 运维开发工程师，在 36Kr 主要负责运维...
-
新一代云原生日志架构 - Loggie的设计与实践
Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经开源：https://github.com/loggie-io/logg...
-
OpenTelemetry 项目解读
Opentelemetry Architecture 在 Collector 内部设计中，一套数据的流入、处理、流出的过程称为 pipeline。一个 pipeline 有三部分组件组合而成，它们分别是 receiver/ processor/ expo...
-
大数据系统数据采集产品的架构分析
任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数据处理 数据展现（可视化，报表和监控） 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括： 数据源多种...
-
容器日志采集利器Log-Pilot
容器时代越来越多的传统应用将会逐渐容器化，而日志又是应用的一个关键环节，那么在应用容器化过程中，如何方便快捷高效地来自动发现和采集应用的日志，如何与日志存储系统协同来高效存储和搜索应用日志。本文将主要跟大家分享下如何通过Log-Pilot来采集容器的标准输...
-
爬虫（一） -- 带你了解爬虫最基本概念，一文即可实践
一、 网络爬虫的概述 1.1 数据的提取与获取 定义：网络爬虫，是一种按照一定规则，自动爬取互联网信息的程序和脚本。用于模拟人操作浏览器打开网页，获取网页中的指定数据。 1.2 爬虫种类 爬虫的种类 作用 通用爬虫 爬取网页页面全部...
-
利用Zabbix部署一个简易的MySQL监控系统
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 [toc] 一、Zabbix部署 1.配置Zabbix源 # 1.下载rpm包 rpm -Uv...
-
仪器数据自动化采集，助力提升实验室管理效率
伴随着计算机技术的日益成熟,为了确保各类检验业务顺利高效开展,提高实验室合规化与公正性,完全电子化数据管理模式已成为众多检测机构的选择。各行业实验室通过仪器的数据采集、数据自动分析和仪器参数智能控制等技术,实现实验室的可追溯、无纸化等全智能数据管理模式。...
-
Rancher 2.6 全新 Logging 快速入门
作者简介 袁振，SUSE Rancher 技术支持经理，负责订阅客户售后技术支持团队，为订阅客户提供技术支持服务。2016 年开始接触容器、Kubernetes 技术，对自动化运维、Devops、Kubernetes、prometheus 和其他云原生相关...
-
PHP高性能输出UNICODE正则汉字列表 汉字转拼音多音字解决方案 搜索引擎分词细胞词库更新 搜狗词库提取TXT
目前现状 汉字转拼音 难度大就大在 多音字！行业上较准确的是基于词语、成语的识别。搜狗有1万多词库 每个词库又很大： 比如： 了 我们读 le 但是成语 一了百了 中 读 liao 解元 作为姓名 应该读 xie yuan 我是解元的...