-
九.pandas绘图基础
目录 九.pandas绘图基础 1-柱状图 --参数stacked=True堆积 --参数figsize=(宽,高 --自定义横坐标 --设置字体&显示负号 2.箱型图 3. 折线图 九.pandas绘图基础 Pa...
-
【爬虫实战】使用Python获取花粉俱乐部中Mate60系列的用户发帖数据
🤵♂️ 个人主页：@艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞👍🏻 收藏 📂加关注+ 目录 一、Python编写爬虫的优势 二、实验过程 2.1...
-
python与机器学习日记——文心一言对话记录节选保存
——个人学习用，不适用于大佬——— 虽然以前学过一点python，在Jupiter里练过几行，但都忘记了。今年在朋友的帮助下，下载了pycharm打算好好学习一番，医学小白大战python机器学习。 看了两章西瓜书，先都别管，读取文件试试：一言哥说得先...
-
基于爬虫对国内城市空气质量数据采集系统设计与实现
代码和完整的报告在文章最后 城市空气质量数据采集系统设计与实现 🏙️ 研究背景 🌬️ 城市化与环境挑战：随着城市化进程的加快，环境污染问题，尤其是空气质量问题，已成为公众关注的焦点。 数据监测的重要性：城市空气质量数据的准确获取对于...
-
用户群组分析Cohort、RFM分层模型、KMeans用户聚类模型对比实战
本文转载自微信公众号「 尤而小屋」，作者尤而小屋 。转载本文请联系尤而小屋公众号。 大家好，我是Peter~ 本文介绍用户群组分析Cohort analysis、RFM用户分层模型、Kmeans用户聚类模型的完整实施过程。 部分结果显示： （1）群组分析...
-
iniucloud采集插件的应用解析
在当前的数据驱动时代，企业和个人对信息的需求越发精细与个性化。“niocloud采集插件”便是在这种背景下诞生的、为用户提供全方位数据抓取服务的重要工具。它不只解放了大量重复劳作的劳动力，同时为用户解决了在众多散乱网页和程序中定位和抓取信息时所遇的问题，特...
-
以Python实现网站爬虫的技术探究与应用
在当今互联网时代，信息爆炸式地增长，如何有效地从海量的网页数据中提取出所需的信息成为了一个重要的问题。网站爬虫（Web Crawler），也称网络爬虫或网页蜘蛛，是一种自动化程序，用于遍历互联网上的网页并抓取相关信息。Python作为一种简洁高效、易于上手...
-
Python在数据采集领域的应用与实践
随着信息技术的迅猛发展和大数据时代的来临，数据采集已成为各行各业不可或缺的环节。在众多编程语言中，Python凭借其简洁明了的语法、强大的第三方库支持和广泛的应用领域，成为了数据采集领域的翘楚。本文将对Python在数据采集方面的应用、相关技术及其优势进行...
-
Python语言在网络数据采集中的应用与探索
随着互联网的迅猛发展，网络数据已经成为当今时代最为宝贵的资源之一。无论是商业分析、学术研究，还是日常生活中的各类应用，网络数据的采集与处理都显得尤为重要。在众多编程语言中，Python以其简洁的语法、强大的第三方库支持和跨平台特性，成为了网络数据采集的首选...
-
基于Discuz平台的自动采集系统设计与实现
随着网络信息的爆炸式增长，人工采集和整理信息的成本越来越高，效率却难以满足实际需求。在这一背景下，自动采集技术应运而生，成为解决信息获取和整理难题的有效手段。Discuz作为一款广泛使用的社区论坛软件，拥有庞大的用户群体和丰富的信息资源，因此，在Discu...
-
Python爬虫第一课：了解爬虫与浏览器原理
Python爬虫第一课：了解爬虫与浏览器原理 fightingoyo 于 2020-02-2...
-
Discuz新闻采集：特性、应用与发展趋势
随着网络信息爆炸式的增长，如何在海量资讯中筛选出有价值的新闻成为了网站运营和内容管理的核心课题之一。在此背景下，Discuz新闻采集逐渐走入了大众的视野。它不仅仅是一项技术手段，更是一种为门户、社区类网站带来海量内容与鲜活气息的策略方法。本文将详细介绍Di...
-
基于Python的网页数据采集技术深入解析
在当今数字化时代，数据被誉为新的石油，成为驱动社会和经济发展的核心资源。特别是随着互联网的迅速发展和普及，海量的信息涌现在网络空间，蕴藏着无数的机遇与挑战。这其中，网页数据作为一种重要的信息载体，其价值不言而喻。如何高效、准确地从网页中采集所需数据，成为了...
-
Anything in Any Scene：逼真物体插入（助力各类驾驶数据合成）
原标题：Anything in Any Scene: Photorealistic Video Object Insertion 论文链接：https://arxiv.org/pdf/2401.17509.pdf 代码链接：https://github....
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
ChatGPT Team VS Genmini Pro VS 文心一言3.5，ChatGPT到底有多强大？
写在前面 本人只支持GPT-4.0，所以没管谷歌和百度的事（因为它们免费用户也能生成图片） ChatGPT 键盘快捷键 询问版本号 生成图片 写代码 <dependencies> <...
-
如何系统的自学Python？通义千问、讯飞星火、文心一言及ChatGPT的回答
如何系统的自学Python？来看看通义千问、讯飞星火、文心一言及ChatGPT的回答. 第一个是马老师的通义千问 系统地自学Python是一个循序渐进的过程，从基础语法到实践项目，再到专业领域的深入学习。下面是一个详细的步骤指南： 了解Pyt...
-
如何使用TensorFlow和Cleanvision检测大堡礁的海星威胁？
澳大利亚的大堡礁美不胜收，是全球最大的珊瑚礁，也是多种多样的海洋生物栖息的家园。不幸的是，珊瑚礁面临蚕食珊瑚的棘冠海星（COTS）的威胁。为了控制COTS爆发，珊瑚礁管理人员使用一种名为Manta Tow勘查的方法，将潜水员拖在船后，目测评估珊瑚礁的各...
-
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了...
-
如何探索和可视化用于图像中物体检测的 ML 数据
近年来，人们越来越认识到深入理解机器学习数据（ML-data）的必要性。不过，鉴于检测大型数据集往往需要耗费大量人力物力，它在计算机视觉（computer vision）领域的广泛应用，尚有待进一步开发。 通常，在物体检测（Object Detectio...
-
LLM自动进行数据分析-论文《Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow》笔记
文章目录 概要 接口设计Interface Design Explore Data by Self-Request Interface definition Interface Merging Interface Implementation...
-
GPT-4绝对性能暴涨74.4%！UIUC苹果华人团队提出CodeAct，用Python代码统一LLM智能体行动
一直以来，LLM智能体被众多业界AI大佬看好，甚至有望成为将人类从琐碎工作中解放出来的利器。 但是，它们该如何与世界进行最佳互动? 最近，来自UIUC和苹果的华人研究员，提出了一种全新的智能体框架——CodeAct。 它通过采用可执行的Python代码，来...
-
如何使用单个指令微调GPT-3.5或Llama 2
由于在各种任务中的通用性，像ChatGPT和Llama 2这样的大型语言模型(LLM 广受欢迎。然而，有些应用程序需要使用自定义数据对这些模型进行微调，以获得更好的性能。 不幸的是，针对特定应用程序对大型语言模型(LLM 进行微调通常是复杂和令人沮丧的...
-
【大麦小米学量化】使用文心一言AI编写股票量化交易策略代码（含演示代码和进阶演示）
文章目录 AI是个宝 前言 一、文心一言是什么？ 二、让AI根据策略写出代码 1. 策略提示词 2. AI给出的策略代码及说明 三、进阶调试 总结 AI是个宝 小米听说百度开放了文心一言AI，好奇的跑去问大麦：“文心一...
-
AIGC智能编程：编程革新还是就业陷阱？
AIGC智能编程：程序员的失业陷阱？ 引言 随着人工智能的迅猛发展，智能编程技术也越来越受到关注。AIGC智能编程是一种利用人工智能技术自动生成代码的方法，它能够极大地提高编程效率和质量。然而，这种技术的兴起也引发了人们对程序员就业前景的忧虑。本文...
-
Python进行数据分析||AIGC生成的Python-Pandas库的一些主要函数及其使用实例来进行数据分析
在Python的Pandas库中，有许多函数可以用来进行数据分析。以下是一些主要函数及其使用实例： read_csv( ：这个函数用于从CSV文件中读取数据。例如，如果你有一个名为"my_data.csv"的文件，你可以使用以下代码来读取它： im...
-
轻松上手，本地运行LlaMA 2的简易指南
我们将学习一种无需设置Python或任何程序即可安装和使用LlaMA 2的简单方法。只需下载文件并在PowerShell中运行命令即可。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 图像由DALL·E 3生成 一...
-
AIGC智能编程：提高编程效率与代码质量的安全可靠之选
AIGC智能编程的安全性和可靠性如何？ 介绍 随着人工智能技术的不断发展，AIGC（Artificial Intelligence Guided Coding）智能编程成为了越来越热门的领域。AIGC智能编程是指利用人工智能技术来辅助编写代码，提高编...
-
训练自己的个性化Stable diffusion模型，LORA
一、背景 需要训练自己的LORA模型 二、分析 1、有sd-webui有训练插件功能 2、有单独的LORA训练开源web界面 两个开源训练界面 1、秋叶写的SD-Trainer https://github.com/Akegarasu/l...
-
异常值检测方法比较——基于美国职业棒球联盟2023赛季击球数据
译者 | 朱先忠 审校 | 重楼 异常值检测是一种无监督的机器学习任务，用于识别给定数据集中的异常（即“异常观测”）。在大量现实世界中，当我们的可用数据集已经被异常“污染”时，异常值检测任务对于整个机器学习环节来说是非常有帮助的。当前，开源框架Sciki...
-
stable diffusion实践操作-提示词
系列文章目录 stable diffusion实践操作 stable diffusion实践操作-提示词-人物属性stable diffusion实践操作-提示词-人物服饰stable diffusion实践操作-提示词-整体环境stable dif...
-
人工智能教程（六）：Keras 和第一个数据集
在本系列的 上一篇文章中，我们学习了使用 Anaconda，加强了概率论的知识。在本文中我们将继续学习概率论的知识，学习使用 seaborn 和 Pandas 进行数据可视化，并进一步介绍 TensorFlow 和 Keras 的使用。 让我们从增长人...
-
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm 的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT 和依赖人类偏好的人类反馈强化学习(RLHF 。这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大...
-
数据分析进阶，Databricks集成GitHub Copilot实用指南
在Databricks中集成AI驱动的数据分析代码编写工具GitHub Copilot，可以优化和简化开发过程。 微信搜索关注《Python学研大本营》，加入读者群，分享更多精彩 一、简介 GitHub Copilot是由GitHub...
-
Github Copilot: 一个强大的代码助手
介绍： Github Copilot是由GitHub和OpenAI联合开发的一款人工智能（AI）驱动的代码助手。它基于大量的开源代码和编程语言知识进行训练，可以帮助开发人员快速生成高质量的代码片段。本文将介绍如何使用Github Copilot以及它的常用...
-
stable diffusion(1): webui的本地部署(windows)
一、前言 是的，现在是202308月份了，网上已经有很多打包好的工具，或者直接进一个web就能用SD的功能，但是我们作为程序员，就应该去躺坑，这样做也是为了能够有更多自主操作的空间。 像其他AI一样，先出结果才是王道，所以先不直接搞SD源码或者命令行，...
-
Copilot在Pycharm的应用和示例
Copilot 是 Github 在 2021 年发布的 AI 代码助手工具，它可以根据你提供的上下文信息，自动生成代码建议，帮助提高代码编写效率和准确性。在 Pycharm 中使用 Copilot，可以进一步提升 Python 开发效率，本文将分享如何在...
-
让你的Pandas代码快得离谱的两个技巧
如果你曾经使用过Pandas处理表格数据，你可能会熟悉导入数据、清洗和转换的过程，然后将其用作模型的输入。然而，当你需要扩展和将代码投入生产时，你的Pandas管道很可能开始崩溃并运行缓慢。在这篇文章中，笔者将分享2个技巧，帮助你让Pandas代码快得离...
-
【openAI】Whisper如何高效语音转文字（详细教程）
文章目录 前言 一、准备 二、使用Whisper进行语音转文字 三.Whisper转换结果分析 总结 前言 语音转文字在许多不同领域都有着广泛的应用。以下是一些例子： 1.字幕制作：语音转文字可以帮助视频制作者快速制作字幕，这...
-
教育+AIGC开局之年：教育派作业帮、科技派科大讯飞同路不同
24年各大厂薪资爆料 三环集团23届offer交流 华为座谈会 比亚迪（Java软件开发岗）技术面 拼多多2024管培生校园招聘--末班车 神仙公司！北京屹唐半导体 交通银行面试 11月也是会发offer的 华为gts 深圳 华为保温...
-
LLM系列 | 22 : Code Llama实战(下篇)：本地部署、量化及GPT-4对比
引言 模型简介 依赖安装 模型inference 代码补全 4-bit版模型 代码填充 指令编码 Code Llama vs ChatGPT vs GPT4 小结 引言 青山隐隐水迢迢，秋尽江南草未凋。...
-
基于llama-index对embedding模型进行微调
QA对话目前是大语言模型的一大应用场景，在QA对话中，由于大语言模型信息的滞后性以及不包含业务知识的特点，我们经常需要外挂知识库来协助大模型解决一些问题。在外挂知识库的过程中，embedding模型的召回效果直接影响到大模型的回答效果，因此，在许多场景下，...
-
GitHub Copilot实战 Leetcode和Alpha Vantage API获取股票数据
GitHub Copilot 可以提升编码速度25%。 需要在 visual studio code 添加插件 GitHub Copilot 1. Base Python 创建数组和Person class # Create a li...
-
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2...
-
文心一言vsChatGpt-学习Python编程能力
目录 前言 功能测试 1.你会接入广告吗？ 2.“电车难题” 3.严刑逼供 4.死后还会有余生吗? 5.我们的宇宙真实吗? 6.我们有自由意志吗? 7.造物主存在吗? 编程能力 1.for循环 2.用python搭建一个博客...
-
人工智能教程（五）：Anaconda 以及更多概率论
在本系列的 前一篇文章 中，我们首先介绍了使用 TensorFlow。它是一个非常强大的开发人工智能和机器学习应用程序的库。然后我们讨论了概率论的相关知识，为我们后面的讨论打下基础。在本系列的第五篇文章中，我们将继续介绍概率和统计中的概念。 在本文中我...
-
【个人首测】百度文心一言 VS ChatGPT GPT-4
昨天我写了一篇文章GPT-4牛是牛，但这几天先别急,文中我测试了用GPT-4回答ChatGPT 3.5 和 Notion AI的问题，大家期待的图片输入也没有出现。 昨天下午百度发布了文心一言，对标ChatGPT，录屏+无实机演示让百度股价暴跌。...
-
一个超强 Pytorch 操作！！
哈喽，我是小壮！ 这几天关于深度学习的内容，已经分享了一些。 另外，类似于numpy、pandas常用数据处理函数，在Pytorch中也是同样的重要，同样的有趣！！ Pytorch同样提供了许多用于数据处理和转换的函数。 今儿来看下，最重要的几个必会函数...
-
kaggle竞赛-Stable Diffusion数据分析与baseline
你的目的是来预测我们生成图像的提示词 1.比赛目标 这个竞赛的目标不是从文本提示生成图像，而是创建一个模型，可以在给定生成图像的情况下预测文本提示（你有一堆提示词，你预测是否该提示词参与了图像的生成）?您将在包含由Stable Diffusion 2....
-
在自定义数据集上微调Alpaca和LLaMA
本文将介绍使用LoRa在本地机器上微调Alpaca和LLaMA，我们将介绍在特定数据集上对Alpaca LoRa进行微调的整个过程，本文将涵盖数据处理、模型训练和使用流行的自然语言处理库(如Transformers和hugs Face 进行评估。此外还将介...