网页JSON采集器-python开源

博主：羁鸟
发布时间：2022 年 03 月 11 日
1851 次浏览
12 条评论
30360字数
分类：项目
加载中

Loading...

![最新效果图](https://www.data-era.cn/usr/uploads/2022/07/4175585201.png)

## 网页JSON采集器

<div class="tip inlineBlock success">

初衷只是想要获取图片api的图片链接，奈何一个个的复制太繁琐，就抽空用python写了这个小程序。

后续会继续更新

</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-67ce5b60d7bcf8e95059026a887a214052" aria-expanded="true"><div class="accordion-toggle"><span>版本v0.1</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-67ce5b60d7bcf8e95059026a887a214052" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.2 增加下载功能 使用多线程优化下载速度 适应多种文件类型
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-6ed340cd5a42ec36652e85d66673573949" aria-expanded="true"><div class="accordion-toggle"><span>v0.2</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-6ed340cd5a42ec36652e85d66673573949" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.3 重定义代码名称更容易理解，增加路径选择功能（默认路径为桌面），程序页面显示运行结果，降低多线程下载时的采集速度（可自行调节，建议慢一点以防被禁IP），增加新版本检测
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-32b494681bc42fb2705a78dc3eecbee817" aria-expanded="true"><div class="accordion-toggle"><span>v0.3</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-32b494681bc42fb2705a78dc3eecbee817" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.4 简化代码量，新增文件类数据判断（检测采集数据不符合时不进行写入数据集），修复了不能采集文本问题，程序UPX加壳
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-97574fc4eb4894213fde2fe8f1de358217" aria-expanded="true"><div class="accordion-toggle"><span>v0.4</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-97574fc4eb4894213fde2fe8f1de358217" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.5 新增写入数据库功能，修改程序图标，不出意外这应该是最后一次更新了
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-f3f683a683bebda4d3321b050c3af09152" aria-expanded="true"><div class="accordion-toggle"><span>v0.5</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-f3f683a683bebda4d3321b050c3af09152" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock success">

最新源码已打包成软件，不想使用源码可以点击下方链接下载
</div>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

正文到此结束

本文作者：羁鸟
本文链接：https://www.data-era.cn/archives/JSONCollector.html
版权声明：本博客所有文章除特别声明外，均默认采用 CC BY-NC-SA 4.0 许可协议。

最后修改：2022 年 07 月 01 日

© 允许规范转载

如果觉得我的文章对你有用，请随意赞赏

12 条评论

avan Google Chrome 105.0.0.0 Windows 7
October 21st, 2022 at 09:33 am

666

回复
路过 Google Chrome 104.0.0.0 Windows 11
August 27th, 2022 at 05:25 pm

借用一下代码

回复
渝伴 Google Chrome 98.0.4758.101 Android 11
July 30th, 2022 at 12:13 am

666

回复
顾曦依 Google Chrome 78.0.3904.108 Windows 7
May 27th, 2022 at 09:10 am

鬼！

回复
咔咔 Google Chrome 86.0.4240.198 Windows 10
May 14th, 2022 at 10:18 am

就很优秀

回复
渔 QQ浏览器 10.8.4554.400 Windows 10
May 11th, 2022 at 01:46 pm

OωO

回复
步步酱 QQ浏览器 11.5 Android 10
April 30th, 2022 at 07:14 pm

如果没有电脑，可以做些什么

回复
1. 羁鸟 Google Chrome 91.0.4472.114 Android 12
  May 1st, 2022 at 01:29 am
  
  @步步酱
  
  目前只能在电脑使用，哈哈哈抱歉，是一个很简单的小程序已经源代码已经附上了，有能力你可以做个手机使用的
  
  回复
骄傲的道士 Google Chrome 97.0.4692.71 Windows 10
March 18th, 2022 at 09:27 pm

|´・ω・)ノ

回复
Mr.J Google Chrome 99.0.4844.51 Windows 11
March 12th, 2022 at 03:01 pm

(☆ω☆)

回复
1. Mr.C Google Chrome 99.0.4844.74 Windows 11
  March 17th, 2022 at 12:46 pm
  
  @Mr.J
  
  OωO
  
  回复
  1. 久久 QQ浏览器 6.2 Android 10
    March 25th, 2022 at 06:57 pm
    
    @Mr.C
    
    回复

发表评论取消回复

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

网页JSON采集器-python开源

羁鸟 • 2022 年 03 月 11 日

Loading...

![最新效果图](https://www.data-era.cn/usr/uploads/2022/07/4175585201.png)

## 网页JSON采集器

<div class="tip inlineBlock success">

初衷只是想要获取图片api的图片链接，奈何一个个的复制太繁琐，就抽空用python写了这个小程序。

后续会继续更新

</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-46421f4023d68527385609dec02389ff3" aria-expanded="true"><div class="accordion-toggle"><span>版本v0.1</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-46421f4023d68527385609dec02389ff3" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.2 增加下载功能 使用多线程优化下载速度 适应多种文件类型
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-23974dac7766b44eb2cf85c26d10777444" aria-expanded="true"><div class="accordion-toggle"><span>v0.2</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-23974dac7766b44eb2cf85c26d10777444" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.3 重定义代码名称更容易理解，增加路径选择功能（默认路径为桌面），程序页面显示运行结果，降低多线程下载时的采集速度（可自行调节，建议慢一点以防被禁IP），增加新版本检测
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-01b3855ee117d9d76bcc48518a1e191c24" aria-expanded="true"><div class="accordion-toggle"><span>v0.3</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-01b3855ee117d9d76bcc48518a1e191c24" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.4 简化代码量，新增文件类数据判断（检测采集数据不符合时不进行写入数据集），修复了不能采集文本问题，程序UPX加壳
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-0f095809dfbccbfcc257fa10ceadf41d63" aria-expanded="true"><div class="accordion-toggle"><span>v0.4</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-0f095809dfbccbfcc257fa10ceadf41d63" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock info">

版本：v0.5 新增写入数据库功能，修改程序图标，不出意外这应该是最后一次更新了
</div>

<div class="panel panel-default collapse-panel box-shadow-wrap-lg"><div class="panel-heading panel-collapse" data-toggle="collapse" data-target="#collapse-08d80f0db5d30e3d659642627d0f67c593" aria-expanded="true"><div class="accordion-toggle"><span>v0.5</span>
<i class="pull-right fontello icon-fw fontello-angle-right"></i>
</div>
</div>
<div class="panel-body collapse-panel-body">
<div id="collapse-08d80f0db5d30e3d659642627d0f67c593" class="collapse collapse-content"><p></p>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>

<p></p></div></div></div>

<div class="tip inlineBlock success">

最新源码已打包成软件，不想使用源码可以点击下方链接下载
</div>

<div class="hideContent">此处内容需要评论回复后（审核通过）方可阅读。</div>