菜比肉贵？用 Python 采集蔬菜与肉类商品历史价格，带你了解了解~
发布时间：2025-11-05 09:06:52 来源：云智核 作者：IT科技
大家好，菜比n采菜肉我是肉贵才哥。
前段时间，集蔬解解菜市场出现了一个奇特的类商现场：菜比肉贵!
以北京为例，像猪肉的品历价格基本上从年初的25块/斤逐步下降到现在的10块/斤。
猪肉价格走势
而一些蔬菜比如油麦菜从年初的格带2.5元/斤到现在的4.5元/斤，高的菜比n采菜肉时候能有8元/斤;再比如菠菜从年初的1.7元/斤到现在的4元/斤，高的肉贵时候也能到7-8元/斤。
油麦菜价格走势
广大网友直呼：以前没钱吃肉，集蔬解解现在没钱吃菜!
我们知道前年 50块一斤猪肉(也是类商离谱)，现在可以买5斤，IT技术网品历于是格带就有了下面这张对比图：
以前没钱吃肉，现在没钱吃菜
那么，菜比n采菜肉蔬菜价格目前到底是肉贵什么情况呢?全年一般又是什么样的走势呢?
今天，我们就用Python采集一下北京新发地菜市场的集蔬解解价格行情来一起了解下!
1. 网页分析
目标网站：北京新发地
网址信息：http://www.xinfadi.com.cn/priceDetail.html
我们通过翻页(下一页)查看后续数据，但是发现地址栏url没变，所以是动态加载的，那么老规矩：F12开发者模式—>Network—>XHR，然后翻页可以找到数据请求信息如下：
最终，我们确认请求接口地址及请求方式与信息如下：
请求类型：post
url = rhttp://www.xinfadi.com.cn/getPriceData.html # 请求参数如下，其中page为页码 FormData={ limit: 20, current: page, pubDateStartTime: 2021/01/01, pubDateEndTime: 2021/10/30, prodPcatid:, prodCatid:, prodName:, }
确定以上信息后，我们就可以简单的写代码进行数据采集了!
2. 数据采集
由于请求到的数据是json格式，云服务器比较好处理，我们直接上代码(完整代码)。
如果对代码不是很了解，可以加笔者好友或者加咱们交流群讨论!
import requests import pandas as pd from tqdm import tqdm headers = { "Accept-Encoding": "Gzip", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36", } dfList = [] url = rhttp://www.xinfadi.com.cn/getPriceData.html for page in tqdm(range(1,5373)): FormData={ limit: 20, current: page, pubDateStartTime: 2021/01/01, pubDateEndTime: 2021/10/30, prodPcatid:, prodCatid:, prodName:, } r = requests.post(url, data=FormData, headers=headers) data = r.json() dataList = data[list] df = pd.DataFrame(dataList) dfList.append(df) df = pd.concat(dfList) df.to_excel(r菜品历史价格行情.xlsx,index=None)
采集进度
可以看到，其实该网站并没有反爬，但是我们用最简单的这种采集方式花了2小时23分钟，属实有点久。
那么怎么可以加速呢?进程、线程与携程等方式可以加速，关于这方面的知识与应用我们会在后续进行专题介绍哈，这里先预告一下。
最终，我们采集到10万多条数据如下：
数据预览
以上就是本次全部内容，由于菜品类型较多，这里不做展开处理，大家可以自行下载研究哈。
服务器托管- 如何去掉Word文档中的空白页？（简单有效的方法帮助您轻松处理Word文档中的无用空白页）
- 无孔鼠标的创新设计与便利性研究（一触即发，畅游无忧）
- 联想电脑固态硬盘系统更换教程（简单操作帮你顺利更换固态硬盘）
- 使用Chrome笔记本进行U盘安装教程（通过详细步骤实现快速而简单的U盘安装方法）
- 如何使用苹果设备分享WiFi密码给其他手机（简单实用的方法和步骤，让你轻松共享网络连接）
- 以U盘启动装系统教程（轻松安装系统，快速解决电脑问题）
- 雷军的成功之路（揭秘中国科技巨头雷军的创业经历）
- Win7使用启动盘还原系统教程（详细步骤帮助您恢复Win7系统）
- 自制迷你电脑盒子教程大全（打造个性化的迷你电脑盒子，实现您的创意想法）
- LenovoZ41-70（全面评测LenovoZ41-70，从外观到性能一一解析）
- 如何解决在苹果电脑上安装JDK路径错误问题（正确设置JDK路径，让开发环境无忧）
- 机械X6S固态硬盘安装教程（简明易懂的X6S固态硬盘安装指南）
- 万和L7究竟如何？（探索万和L7的功能、性能和用户评价）
- 台式机如何使用U盘制作系统（教你一步步完成U盘系统安装）
- X99装机教程（选择X99主板，为你的装机之路带来巅峰体验）
- 用Easyboot轻松制作启动光盘（一站式教程，轻松打造便携启动解决方案）
- 深度win7系统装机教程（详细教你如何安装深度win7系统，让电脑运行更快更顺畅）
- 雷军的成功之路（揭秘中国科技巨头雷军的创业经历）
- 电脑远程连接显示错误的解决方法（教你如何应对常见的远程连接显示错误）
- 如何在惠普笔记本电脑上安装XP系统（简单易懂的教程，帮助你轻松完成安装）
随便看看
- Copyright © 2025 Powered by 菜比肉贵？用 Python 采集蔬菜与肉类商品历史价格，带你了解了解~,云智核 滇ICP备2023006006号-28sitemap