-
基于llama.cpp的GGUF量化与基于llama-cpp-python的部署
前言：笔者在做GGUF量化和后续部署的过程中踩到了一些坑，这里记录一下。 1.量化 项目地址：llama.cpp 1.1 环境搭建 笔者之前构建了一个用于实施大模型相关任务的docker镜像，这次依然是在这个镜像的基础上完成的，这里给出Dock...
-
通过强化学习策略进行特征选择
特征选择是构建机器学习模型过程中的决定性步骤。为模型和我们想要完成的任务选择好的特征，可以提高性能。 如果我们处理的是高维数据集，那么选择特征就显得尤为重要。它使模型能够更快更好地学习。我们的想法是找到最优数量的特征和最有意义的特征。 在本文中，我们将...
-
探秘Python网页爬虫：原理、实践与未来趋势
在当今信息化社会，数据已成为重要的资源，而网页作为数据的主要载体之一，蕴含着海量有价值的信息。为了能够高效、准确地从网页中提取出所需数据，网页爬虫技术应运而生。其中，Python凭借其简洁易懂的语法和丰富的第三方库，成为了构建网页爬虫的绝佳选择。本文将围绕...
-
深入探究Python网络数据爬虫技术
在当今信息爆炸的时代，数据作为一种重要的资源，其获取与分析能力已成为个人和企业竞争力的关键。而网络数据爬虫，作为一种能够自动抓取网络信息的工具，日益显现出其强大的作用。本文将深入探究Python网络数据爬虫技术，分析其原理、方法、应用场景以及面临的挑战。一...
-
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
深入解析jieqicms爬虫：原理、应用与风险防范
在当今数字化时代，信息资源的获取变得尤为重要。随着互联网技术的不断发展，各式各样的网站如亚特兰蒂斯的繁星般层出不穷。为了高效地从海量网站中抓取所需数据，爬虫技术应运而生。其中，jieqicms爬虫凭借其强大的功能与灵活性，受到了广泛关注。本文将对jieqi...
-
时间序列预测:探索性数据分析和特征工程的实用指南
时间序列分析是数据科学和机器学习领域最广泛的主题之一:无论是预测金融事件、能源消耗、产品销售还是股票市场趋势，这一领域一直是企业非常感兴趣的领域。 随着机器学习模型的不断进步，使除了传统的统计预测方法(如回归模型、ARIMA模型、指数平滑 外，与机器学习...
-
一文带您了解SHAP：机器学习的模型解释
在机器学习和数据科学领域，模型的可解释性一直是研究者和实践者关注的焦点。随着深度学习和集成方法等复杂模型的广泛应用，理解模型的决策过程变得尤为重要。可解释人工智能（Explainable AI ，XAI）通过提高模型的透明度，帮助建立对机器学习模型的信任...
-
帝国CMS商城爬虫：深入解析与应用探索
在当今数字化时代，网络爬虫作为一种自动化获取网络信息的工具，已经广泛应用于各个领域。其中，针对特定CMS（内容管理系统）的爬虫更是备受关注。帝国CMS作为国内知名的CMS系统之一，其商城模块数据往往成为爬虫的重要目标。本文将对“帝国CMS商城爬虫”进行深入...
-
LangGraph实战：从零分阶打造人工智能航空客服助手
客服助手机器人能够帮助团队更高效地处理日常咨询，但要打造一个能够稳定应对各种任务且不会让用户感到烦恼的机器人并非易事。 完成本教程后，你不仅会拥有一个功能完备的机器人，还将深入理解LangGraph的核心理念和架构设计。这些知识将帮助你在其他人工智能项目...
-
时间序列概率预测的共形预测
前面我们介绍了用于时间序列概率预测的分位数回归，今天继续学习基于概率预测的时间序列概率预测方法--共形预测。 现实世界中的应用和规划往往需要概率预测，而不是简单的点估计值。概率预测也称为预测区间或预测不确定性，能够提供决策者对未来的不确定性状况有更好的认...
-
用于时间序列概率预测的分位数回归
分位数回归满足这一需求，提供具有量化机会的预测区间。它是一种统计技术，用于模拟预测变量与响应变量之间的关系，特别是当响应变量的条件分布令人感兴趣时。与传统的回归方法不同，分位数回归侧重于估计响应变量的条件量值，而不是条件均值。 图(A : 分位数回归 分...
-
一文解决任何机器学习问题！
前言 数据挖掘大神Abhishek Thakur，很多数据挖掘kaggler对他都非常熟悉，他在 Linkedin 发表了一篇名为Approaching (Almost Any Machine Learning Problem(几乎解决任何机器学习...
-
九.pandas绘图基础
目录 九.pandas绘图基础 1-柱状图 --参数stacked=True堆积 --参数figsize=(宽,高 --自定义横坐标 --设置字体&显示负号 2.箱型图 3. 折线图 九.pandas绘图基础 Pa...
-
【爬虫实战】使用Python获取花粉俱乐部中Mate60系列的用户发帖数据
?♂️ 个人主页：@艾派森的个人主页 ✍?作者简介：Python学习者 ? 希望大家多多支持，我们一起进步！? 如果文章对你有帮助的话， 欢迎评论 ?点赞?? 收藏 ?加关注+ 目录 一、Python编写爬虫的优势 二、实验过程 2.1...
-
python与机器学习日记——文心一言对话记录节选保存
——个人学习用，不适用于大佬——— 虽然以前学过一点python，在Jupiter里练过几行，但都忘记了。今年在朋友的帮助下，下载了pycharm打算好好学习一番，医学小白大战python机器学习。 看了两章西瓜书，先都别管，读取文件试试：一言哥说得先...
-
基于爬虫对国内城市空气质量数据采集系统设计与实现
代码和完整的报告在文章最后 城市空气质量数据采集系统设计与实现 ?️ 研究背景 ?️ 城市化与环境挑战：随着城市化进程的加快，环境污染问题，尤其是空气质量问题，已成为公众关注的焦点。 数据监测的重要性：城市空气质量数据的准确获取对于...
-
用户群组分析Cohort、RFM分层模型、KMeans用户聚类模型对比实战
本文转载自微信公众号「 尤而小屋」，作者尤而小屋 。转载本文请联系尤而小屋公众号。 大家好，我是Peter~ 本文介绍用户群组分析Cohort analysis、RFM用户分层模型、Kmeans用户聚类模型的完整实施过程。 部分结果显示： （1）群组分析...
-
iniucloud采集插件的应用解析
在当前的数据驱动时代，企业和个人对信息的需求越发精细与个性化。“niocloud采集插件”便是在这种背景下诞生的、为用户提供全方位数据抓取服务的重要工具。它不只解放了大量重复劳作的劳动力，同时为用户解决了在众多散乱网页和程序中定位和抓取信息时所遇的问题，特...
-
以Python实现网站爬虫的技术探究与应用
在当今互联网时代，信息爆炸式地增长，如何有效地从海量的网页数据中提取出所需的信息成为了一个重要的问题。网站爬虫（Web Crawler），也称网络爬虫或网页蜘蛛，是一种自动化程序，用于遍历互联网上的网页并抓取相关信息。Python作为一种简洁高效、易于上手...
-
Python在数据采集领域的应用与实践
随着信息技术的迅猛发展和大数据时代的来临，数据采集已成为各行各业不可或缺的环节。在众多编程语言中，Python凭借其简洁明了的语法、强大的第三方库支持和广泛的应用领域，成为了数据采集领域的翘楚。本文将对Python在数据采集方面的应用、相关技术及其优势进行...
-
Python语言在网络数据采集中的应用与探索
随着互联网的迅猛发展，网络数据已经成为当今时代最为宝贵的资源之一。无论是商业分析、学术研究，还是日常生活中的各类应用，网络数据的采集与处理都显得尤为重要。在众多编程语言中，Python以其简洁的语法、强大的第三方库支持和跨平台特性，成为了网络数据采集的首选...
-
基于Discuz平台的自动采集系统设计与实现
随着网络信息的爆炸式增长，人工采集和整理信息的成本越来越高，效率却难以满足实际需求。在这一背景下，自动采集技术应运而生，成为解决信息获取和整理难题的有效手段。Discuz作为一款广泛使用的社区论坛软件，拥有庞大的用户群体和丰富的信息资源，因此，在Discu...
-
Python爬虫第一课：了解爬虫与浏览器原理
Python爬虫第一课：了解爬虫与浏览器原理 fightingoyo 于 2020-02-2...
-
Discuz新闻采集：特性、应用与发展趋势
随着网络信息爆炸式的增长，如何在海量资讯中筛选出有价值的新闻成为了网站运营和内容管理的核心课题之一。在此背景下，Discuz新闻采集逐渐走入了大众的视野。它不仅仅是一项技术手段，更是一种为门户、社区类网站带来海量内容与鲜活气息的策略方法。本文将详细介绍Di...
-
基于Python的网页数据采集技术深入解析
在当今数字化时代，数据被誉为新的石油，成为驱动社会和经济发展的核心资源。特别是随着互联网的迅速发展和普及，海量的信息涌现在网络空间，蕴藏着无数的机遇与挑战。这其中，网页数据作为一种重要的信息载体，其价值不言而喻。如何高效、准确地从网页中采集所需数据，成为了...
-
Anything in Any Scene：逼真物体插入（助力各类驾驶数据合成）
原标题：Anything in Any Scene: Photorealistic Video Object Insertion 论文链接：https://arxiv.org/pdf/2401.17509.pdf 代码链接：https://github....
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
ChatGPT Team VS Genmini Pro VS 文心一言3.5，ChatGPT到底有多强大？
写在前面 本人只支持GPT-4.0，所以没管谷歌和百度的事（因为它们免费用户也能生成图片） ChatGPT 键盘快捷键 询问版本号 生成图片 写代码 <dependencies> <...
-
如何系统的自学Python？通义千问、讯飞星火、文心一言及ChatGPT的回答
如何系统的自学Python？来看看通义千问、讯飞星火、文心一言及ChatGPT的回答. 第一个是马老师的通义千问 系统地自学Python是一个循序渐进的过程，从基础语法到实践项目，再到专业领域的深入学习。下面是一个详细的步骤指南： 了解Pyt...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了...
-
如何探索和可视化用于图像中物体检测的 ML 数据
近年来，人们越来越认识到深入理解机器学习数据（ML-data）的必要性。不过，鉴于检测大型数据集往往需要耗费大量人力物力，它在计算机视觉（computer vision）领域的广泛应用，尚有待进一步开发。 通常，在物体检测（Object Detectio...
-
LLM自动进行数据分析-论文《Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow》笔记
文章目录 概要 接口设计Interface Design Explore Data by Self-Request Interface definition Interface Merging Interface Implementation...
-
GPT-4绝对性能暴涨74.4%！UIUC苹果华人团队提出CodeAct，用Python代码统一LLM智能体行动
一直以来，LLM智能体被众多业界AI大佬看好，甚至有望成为将人类从琐碎工作中解放出来的利器。 但是，它们该如何与世界进行最佳互动? 最近，来自UIUC和苹果的华人研究员，提出了一种全新的智能体框架——CodeAct。 它通过采用可执行的Python代码，来...
-
如何使用单个指令微调GPT-3.5或Llama 2
由于在各种任务中的通用性，像ChatGPT和Llama 2这样的大型语言模型(LLM 广受欢迎。然而，有些应用程序需要使用自定义数据对这些模型进行微调，以获得更好的性能。 不幸的是，针对特定应用程序对大型语言模型(LLM 进行微调通常是复杂和令人沮丧的...
-
【大麦小米学量化】使用文心一言AI编写股票量化交易策略代码（含演示代码和进阶演示）
文章目录 AI是个宝 前言 一、文心一言是什么？ 二、让AI根据策略写出代码 1. 策略提示词 2. AI给出的策略代码及说明 三、进阶调试 总结 AI是个宝 小米听说百度开放了文心一言AI，好奇的跑去问大麦：“文心一...
-
AIGC智能编程：编程革新还是就业陷阱？
AIGC智能编程：程序员的失业陷阱？ 引言 随着人工智能的迅猛发展，智能编程技术也越来越受到关注。AIGC智能编程是一种利用人工智能技术自动生成代码的方法，它能够极大地提高编程效率和质量。然而，这种技术的兴起也引发了人们对程序员就业前景的忧虑。本文...
-
Python进行数据分析||AIGC生成的Python-Pandas库的一些主要函数及其使用实例来进行数据分析
在Python的Pandas库中，有许多函数可以用来进行数据分析。以下是一些主要函数及其使用实例： read_csv( ：这个函数用于从CSV文件中读取数据。例如，如果你有一个名为"my_data.csv"的文件，你可以使用以下代码来读取它： im...
-
轻松上手，本地运行LlaMA 2的简易指南
我们将学习一种无需设置Python或任何程序即可安装和使用LlaMA 2的简单方法。只需下载文件并在PowerShell中运行命令即可。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 图像由DALL·E 3生成 一...
-
AIGC智能编程：提高编程效率与代码质量的安全可靠之选
AIGC智能编程的安全性和可靠性如何？ 介绍 随着人工智能技术的不断发展，AIGC（Artificial Intelligence Guided Coding）智能编程成为了越来越热门的领域。AIGC智能编程是指利用人工智能技术来辅助编写代码，提高编...
-
训练自己的个性化Stable diffusion模型，LORA
一、背景 需要训练自己的LORA模型 二、分析 1、有sd-webui有训练插件功能 2、有单独的LORA训练开源web界面 两个开源训练界面 1、秋叶写的SD-Trainer https://github.com/Akegarasu/l...
-
异常值检测方法比较——基于美国职业棒球联盟2023赛季击球数据
译者 | 朱先忠 审校 | 重楼 异常值检测是一种无监督的机器学习任务，用于识别给定数据集中的异常（即“异常观测”）。在大量现实世界中，当我们的可用数据集已经被异常“污染”时，异常值检测任务对于整个机器学习环节来说是非常有帮助的。当前，开源框架Sciki...
-
stable diffusion实践操作-提示词
系列文章目录 stable diffusion实践操作 stable diffusion实践操作-提示词-人物属性stable diffusion实践操作-提示词-人物服饰stable diffusion实践操作-提示词-整体环境stable dif...
-
人工智能教程（六）：Keras 和第一个数据集
在本系列的 上一篇文章中，我们学习了使用 Anaconda，加强了概率论的知识。在本文中我们将继续学习概率论的知识，学习使用 seaborn 和 Pandas 进行数据可视化，并进一步介绍 TensorFlow 和 Keras 的使用。 让我们从增长人...
-
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm 的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT 和依赖人类偏好的人类反馈强化学习(RLHF 。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大...
-
数据分析进阶，Databricks集成GitHub Copilot实用指南
在Databricks中集成AI驱动的数据分析代码编写工具GitHub Copilot，可以优化和简化开发过程。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 一、简介 GitHub Copilot是由GitHub...
-
Github Copilot: 一个强大的代码助手
介绍： Github Copilot是由GitHub和OpenAI联合开发的一款人工智能（AI）驱动的代码助手。它基于大量的开源代码和编程语言知识进行训练，可以帮助开发人员快速生成高质量的代码片段。本文将介绍如何使用Github Copilot以及它的常用...
-
stable diffusion(1): webui的本地部署(windows)
一、前言 是的，现在是202308月份了，网上已经有很多打包好的工具，或者直接进一个web就能用SD的功能，但是我们作为程序员，就应该去躺坑，这样做也是为了能够有更多自主操作的空间。 像其他AI一样，先出结果才是王道，所以先不直接搞SD源码或者命令行，...
-
Copilot在Pycharm的应用和示例
Copilot 是 Github 在 2021 年发布的 AI 代码助手工具，它可以根据你提供的上下文信息，自动生成代码建议，帮助提高代码编写效率和准确性。在 Pycharm 中使用 Copilot，可以进一步提升 Python 开发效率，本文将分享如何在...