登录
|
注册
论坛首页
VG官网
版本价格
标签
搜索
帮助
快速搜索
帖子标题
作者
版块
VG浏览器技术交流论坛
»
综合交流
»
使用交流
» 想请教一下,如何入库列表页,然后不重复采集?谢谢~
站务管理
站务管理
Bug反馈
开发建议
综合交流
使用交流
教程发布
EXE程序开发
返回列表
查看:
1588
|
回复:
2
想请教一下,如何入库列表页,然后不重复采集?谢谢~
[复制链接]
发送短消息
UID
3852
精华
0
积分
755
软件积分
141
交流积分
32
消费积分
698
查看公共资料
搜索帖子
supper
组别
中级用户
帖子
32
积分
755
性别
注册时间
2021-06-06
1
#
字体大小:
t
T
发表于
2021-10-08 08:36
|
只看楼主
想请教一下,如何入库列表页,然后不重复采集?谢谢~
1.循环提取列表页,下次采集他还从开始起。
2.这个深入采集内容页之后他会马上返回列表页,再采集下一个内容页,这中间如何指定延迟时间?
希望得到您详细的回复,详细。
分享
转发
TOP
发送短消息
UID
1509
精华
0
积分
636
软件积分
37
交流积分
6
消费积分
698
查看公共资料
搜索帖子
88520
组别
中级用户
帖子
4
积分
636
性别
注册时间
2019-09-22
2
#
字体大小:
t
T
发表于
2021-10-14 16:10
|
只看该用户
已经采集过的 文章页入库,然后每次采集文章的时候查询数据库是否存在 如果存在就跳过,并且计数, 如果连续跳过大于10 就暂停脚本。
TOP
发送短消息
UID
3852
精华
0
积分
755
软件积分
141
交流积分
32
消费积分
698
查看公共资料
搜索帖子
supper
组别
中级用户
帖子
32
积分
755
性别
注册时间
2021-06-06
3
#
字体大小:
t
T
发表于
2021-10-17 22:25
|
只看楼主
回复
2楼
88520
的帖子
感谢回复,已经学会了。知识例表页还不知道怎么续集,火车头我到时会,这个还在熟悉中
TOP
上一主题
|
下一主题
返回列表
高级编辑器
B
Color
Image
Link
Quote
Code
Smilies
默认表情
你需要登录后才可以发帖
登录
|
注册
发表回复
查看背景广告
隐藏
发新主题
站务管理
站务管理
Bug反馈
开发建议
综合交流
使用交流
教程发布
EXE程序开发
TOP
设置头像
个人资料
更改密码
用户组
收藏夹
积分