-
大模型应用开发，AI 厂商开启新一轮“群雄逐鹿”？
价格战的硝烟似乎还没有平息，但 AI 厂商们的又一场战争已经开始。 这一次的竞争核心是大模型应用开发。根据 IDC 报告，2023年中国大模型平台及相关应用市场规模约还仅有区区17.65亿元人民币，但伴随着行业的巨变，2024年，模型应用开发相关的产业规模...
-
大模型存储选型 & JuiceFS 在关键环节性能详解
从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关...
-
多路rfid芯片 智能写作
标题：多路RFID芯片：物联网时代的智能引擎与独特见解 内容 在当今物联网技术飞速发展的时代背景下，RFID（无线射频识别）芯片作为自动识别技术的核心组件，正逐步渗透到我们生活的各个角落。也许多路RFID芯片以其独特的技术优势...
-
Datawhale X 魔搭 AI夏令营 第四期-AIGC方向Task2笔记
baseline的流程图 Baseline代码 !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip uninstall pytorch-...
-
【AIGC】AI时代的数据安全：使用ChatGPT时的自查要点
博客主页： [小ᶻZ࿆] 本文专栏: AIGC | ChatGPT 文章目录 💯前言 💯法律法规背景 中华人民共和国保守秘密法 中华人民共和国网络安全法 中华人民共和国个人信息保护法 遵守法律法规的重要性...
-
[AIGC] DAG任务调度的概述与实践
DAG(Directed Acyclic Graph，有向无环图 作为任务调度的基础模型，在大规模数据处理和计算过程中有着广泛的应用。本文将对DAG模型的原理进行解释并列出一些常用的任务调度工具。 文章目录 一、什么是DAG？ 二、...
-
如何利用 Whisper 模型进行多语言语音识别的优化和定制？
关注我，持续分享逻辑思维&管理思维&面试题； 可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导； 推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公...
-
AIGC从入门到实战：天工人巧日争新：生成你的数字人分身
AIGC从入门到实战：天工人巧日争新：生成你的数字人分身 关键词：AIGC，数字人，人工智能，生成模型，训练，应用 1. 背景介绍 1.1 问题的由来 随着人工智能技术的飞速发展，人工智能生成内容（AIGC，AI Generated Co...
-
国内外大模型汇总（包括科大星火、文心一言、通义千问、智普清言、华为大模型）
国内外大模型汇总 1. 科大讯飞星火认知大模型 主要特点： 多语言能力：以中文为核心，同时支持多语言处理，能够进行跨语种的语言理解和生成。 广泛的任务能力：具备内容生成、语言理解、知识问答、推理、数学计算、代码理解与生成等多种能力，能够处理复杂的自...
-
OpenAI开启推理算力新Scaling Law，AI PC和CPU的机会来了
OpenAI的新模型o1，可谓是开启了Scaling Law的新篇章—— 随着更多的强化学习（训练时计算）和更多的思考时间(测试时计算 ，o1在逻辑推理能力上已经达到了目前天花板级别。 尤其是在北大给出的一项评测中，o1-mini模型的跑分比o1-prev...
-
rfid屋顶发射器 ai写作
标题：RFID屋顶发射器：天际线上的智能守护者，开启智慧城市的无限可能 内容： RFID屋顶发射器的独特之处 RFID屋顶发射器，顾名思义，是指安装在建筑物屋顶的RFID发射装置。它利用屋顶的开阔视野和高度优势，将RFID信号的覆盖范围扩...
-
多邻国之后，AI游戏化教育产品的新机会在哪？
Heeyo 主要目的并不只是为了给孤独的孩子提供一个 AI 朋友，而是帮助孩子们学习他们感兴趣的内容。 同时，Heeyo 也希望激发孩子们对某些事物的兴趣，因此该平台利用孩子最喜欢的角色来培养这种兴趣，或者以一种更轻松、不那么正式的教学方式向他们传授知识。...
-
Stable diffusion/ComfyUI：RuntimeError: mat1 and mat2 shapes cannot be multiplied (154x2048 and 768x3
项目场景： 今天做项目的时候遇到一个报错。讲一下这个问题的原因和解决方法。 先看报错日志。我用的是秋叶老师的启动器，所以直接上控制台日志截图。 — 问题描述 工作流， 我是添加了效率节点的加载器和采样器。同时集成了ControlNet堆。 问题...
-
小白学大模型：LLaMA-Factory 介绍与使用
最近这一两周看到不少互联网公司都已经开始秋招提前批了。 不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。 最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。...
-
开源项目教程：Llama
开源项目教程：Llama llama项目地址:https://gitcode.com/gh_mirrors/llam/llama 项目介绍 此教程基于GitHub上的开源项目 nelhage/llama，不过请注意，上述提供的链接并非真实的项目地...
-
基于whisper流式语音识别
为了实现持续监听麦克风并在检测到声音时进行转录，我们可以将流的监听时间设置为无限长。通过使用一个音量门限来检测是否有声音，然后进行转录。 安装依赖 确保安装必要的库： pip install torch torchaudio openai-whis...
-
Llama开源代码详细解读（2）
FlashAttention if is_flash_attn_available( : # 检查flashattention的可用性 from flash_attn import flash_attn_func, flash_attn_var...
-
vivo X200系列定档10月14日发布 将搭载全新进化蓝心大模型
vivo宣布将于10月14日在北京举办新品发布会，届时将推出新一代旗舰手机X200系列。这一系列预计将包括X200、X200Pro等多款型号，并将全球首发联发科天玑9400处理器。 vivo X200系列将配备1.5K OLED国产屏幕，并可能在Pro版上...
-
Unsloth微调环境搭建与LLaMA 3.1-8B模型微调实践指南
本文将详细介绍如何使用Unsloth框架进行LLaMA 3.1-8B模型的微调，帮助您快速构建微调环境，并了解微调流程的基本步骤。本教程适合初学者，旨在帮助您在短时间内实现自己的专属模型微调。对于更复杂的微调参数和细节设置，将在后续文章中进一步阐述。 文...
-
Python 爬虫入门: 常见的爬虫库及相关工具
Python 爬虫入门: 常见的爬虫库及相关工具 前言 1. 爬虫框架 1.1 Scrapy 1.2 Scrapy-Redis 2. 解析 XML 和 HTML 文档 2.1 BeautifulSoup 2.2 lxml 2.3 Par...
-
欺诈文本分类检测（十一）：LLamaFactory多卡微调
1. 引言 前文训练时都做了一定的编码工作，其实有一些框架可以支持我们零代码微调，LLama-Factory就是其中一个。这是一个专门针对大语言模型的微调和训练平台，有如下特性： 支持常见的模型种类：LLaMA、Mixtral-MoE、Qwen、B...
-
Datawhale X魔搭 AI夏令营
Datawhale X魔搭AI夏令营 AIGC方向Task01学习笔记 （本人水平有限，文章中引用了一些大佬写的内容，引用的图片上已注明出处） 1.活动简介 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期...
-
Datawhale AI 夏令营【AIGC文生图】
Datawhale AI 夏令营----AIGC文生图 一、赛事介绍 1、背景知识 2、比赛任务 3、文生图简介 4、数据集介绍 二、Task1 baseline解析 1、导入相关库 2、数据集处理 3、保存数据 4、训练模型，查看训练脚...
-
deepmotion（动作捕捉与动画生成）
Deep Motion 是一种高级技术，主要用于捕捉和处理复杂的运动数据，特别是在计算机动画、虚拟现实、增强现实和游戏开发领域。通过深度学习和计算机视觉技术，Deep Motion 提供了精确的运动捕捉和逼真的动画生成功能。 精准的运动捕捉：无需昂贵...
-
Llama-factory的yaml配置参数--学习记录
最近llama-factory的配置参数有很多不懂的地方，整理了一些但也有可能有错，仅供大家参考。 # 可选参数 # 模型和适配器相关 --adapter_name_or_path # 描述: 适配器的名称或路径。 --adapter_folder...
-
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南
Lag-Llama：时间序列预测的开源基础模型中文安装与使用指南 lag-llamaLag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting项目地址:h...
-
使用 Llama-Agents、Qdrant 和 Kafka 进行高级实时 RAG
简介 在当今数据驱动的世界中，实时处理和检索信息的能力至关重要。本文深入探讨了使用Llama-Agents、Qdrant 和 Kafka 的高级实时检索增强生成 (RAG 。通过集成这些强大的工具，我们创建了一个可以有效管理数据提取、处理和检索的代理系...
-
Datawhale X 魔搭 AI夏令营AIGC方向task2
第一步：安装 安装 Data-Juicer 和 DiffSynth-Studio !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip unins...
-
小白的DatawhaleAI夏令营AIGC文生图探索日记·可图Kolors-LoRA风格故事挑战赛应用
比赛🔗：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制 报名赛事(点击即可跳转 （一定要进行报名，后面环境中的数据和授权等会用到） 赛事链接：https://tianchi.aliyun.com/competit...
-
AIGC 大模型：实践与未来
一、AIGC 大模型的概念与发展 （一）AIGC 大模型的定义与特点 AIGC（AI Generated Content）大模型是一种基于大规模数据训练的人工智能模型，具备强大的内容生成能力和多模态交互能力。它能够理解和处理多种类型的信息，包...
-
WebLlama 项目使用教程
WebLlama 项目使用教程 webllamaLlama-3 agents that can browse the web by following instructions and talking to you项目地址:https://gitcod...
-
Datewhale AI夏令营第四期 AIGC方向Task1笔记
①文生图基基础知识： ✔提示词：主体描述，细节描述，修饰词，艺术风格，艺术家 ✔Lora模型：实现对特定主题、风格或任务的精细化控制 ✔ComfyUI：模型微调、数据预处理、图像生成 ✔参考图控制：openp...
-
Distil-Whisper：高效快速的语音识别模型
Distil-Whisper：高效快速的语音识别模型 distil-whisperDistilled variant of Whisper for speech recognition. 6x faster, 50% smaller, within 1...
-
【Datawhale X 魔搭 AI夏令营第四期-AIGC方向】 Task1笔记：跑通baseline
前言 Datawhale的官方速通文档：https://linklearner.com/activity/14/10/24 本篇文章基于官方文档内容进行归纳总结。 跑通代码 Step0：开通阿里云PAI-DSW试用 阿里云PAI-DSW（Data...
-
AIGC文生图 Task01#Datawhale X 魔搭AI夏令营
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习。以下是笔者对Task01教程的一些记录。 30min速通指...
-
Meta AI新动向：Llama 4瞄准GPT-4，Agent技术或成研发重点
Meta的AI研发进展 Meta的AI科学家Thomas Scialom在最近的采访中透露了Llama系列大型语言模型的最新动态。Scialom谈到了Llama 3.1的研发思路，并展望了即将到来的Llama 4模型。他表示，Llama 3.1是在追求与...
-
抖音豆包大模型AI写作教程
简数采集器支持调用字节跳动抖音的豆包AI大模型API接口，用于对采集的数据进行研究分析，内容写作等。 抖音豆包大模型AI写作使用教程： 目录 1.启用豆包AI大模型API功能 2.设置豆包API处理规则 3.应用API规则处理数据 4.获取AI...
-
The Llama 3 Herd of Models
本文是LLM系列文章，针对《The Llama 3 Herd of Models》的翻译。 LLama3模型 摘要 1 引言 2 一般概述 3 预训练 3.1 预训练数据 3.1.1 网络数据管...
-
周期补数据、定时补数据，深入了解两种补数据的特殊方式
在当今数字化的时代，数据已然成为企业决策与运营的关键要素。而保障数据的完整性、准确性以及及时性，对于企业的发展有着举足轻重的意义。在数据运维管理范畴内，补数据属于大数据开发和运维人员常用的运维操作手段。 周期补数据和定时补数据作为两个相对特殊的补数据方式...
-
Datawhale AI夏令营第四期魔塔-AIGC文生图方向 task03笔记
目录 一、工具初探一ComfyUI应用场景探索 1.初识ComfyUI 2.20分钟速通安装ComfyUI 3.浅尝ComfyUI工作流 二、Lora微调 1.Lora简介 2.Lora详解 一、工具初探一ComfyUI应用场景...
-
Datawhale X 魔搭 AI夏令营 第四期--AIGC文生图 task2笔记
先上图看连环画成果 一直有个篮球总冠军，根据通义千问的文生图对话式生成8个连贯的文生图故事。通过生成的故事内容生成了下面的图片 男主正在练习打篮球 动漫风，连环画，一个黑色高个子帅气男生，穿着红色篮球服，正在篮球训练场上，练习投篮，专注地重复...
-
Datawhale X 魔搭 AI夏令营 Task1
Datawhale X 魔搭 AI夏令营 Task1 赛事解读 AI文生图相关概念 可图模型及微调简介 魔搭零代码生图、微调工具介绍 魔搭AI生图相关应用介绍 DataWhale开源组织网站主页：Datawhale DataWhaleAI夏令营第...
-
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，...
-
Datawhale X 魔搭AI夏令营 第四期-AIGC文生图lora方向 Task2笔记
继task01跑通baseline之后，有时候回想起实例中那些自己摸不着头脑的代码片段，确实有些好奇，task2正好用借助通用大语言模型工具精读了一下这些代码片段，并进行了实战演练一一基于话剧的连环画制作。 （这里学习文档给出的大语言模型...
-
Datawhale AI夏令营第四期AIGC方向Task2学习笔记
Kolors（可图）模型 Kolors是由快手团队开发的大规模文本到图像生成模型（可图 · 模型库 (modelscope.cn ）根据链接的文章内容，Kolors在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面，显著优于开源和专有...
-
Datawhale X 魔搭 AI夏令营第四期 AIGC方向 Task02笔记
一.认识通义千问 通义千问是一款具有信息查询、语言理解、文本创作等多能力的AI助手。其中，编程与技术支持能力是它的强项之一。 我们可以利用通义千问帮助辅助分析代码结构和功能 二.精读baseline 文生图代码的框架结构： 可以看到，这段代码...
-
[AIGC] Doris：一款高效的MPP数据仓库引擎
在大数据处理的领域中，Apache Doris（原百度 Palo）是一个高效的MPP（大规模并行处理）数据仓库，最初由百度开发，现在已经成为Apache的孵化项目。 (图片取自百度 – 文章目录 1. Doris的基础知识 2....
-
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 Task2:精读代码，实战进阶 Part1:磨刀准备一一认识通义千问 会用ChatGpt就行 Part2：精读baseline——从零入门AI生图 1. 代码的主体架构...
-
rfid卡频率 ai写作
RFID卡频率：解锁不同场景下的智能识别奥秘 在物联网与数字化技术飞速发展的今天，RFID（无线射频识别）卡作为重要的身份识别与数据追踪工具，其性能与应用广泛受到关注。而RFID卡的频率，作为影响其识别距离、速度、穿透力及安全性的关键因素，更是值得我...
-
Datawhale X 魔塔 AI夏令营 AIGC方向Task1
小白学习笔记，如有错误请各位大佬指正 一、跑通baseline教程 Datawhale 教程链接Datawhale 二、baseline代码分析 1.安装库 !pip install simple-aesthetics-predictor !p...