发新话题 回复该主题

关于采集的数据自动合并与不合并的建议 [复制链接]

1#
银光图片
关于采集的数据自动合并与不合并的建议

最新的版本6.8.4.1,采集的到数据会自动合并,就是说每天采集到的数据都会合并在一起。虽然带来一定的好处,但是也带来了一些小问题。

比如,只采集当天的信息,然后导出。第一次导出是正常,可是每天都采集的话,这样每天数据都是叠加的,后面单独直接导出本次采集,却把前面的信息也导出出来了。


再来个例子,采集淘宝的评价,需要更换不同的商品地址来采集评价。本来只导出当前商品的评价,可因为前面的数据还在,造成其他数据也导出来了,混合在了一起。

我本打算,在脚本一开始就删除collected.vgd这个数据库文件,把前面的数据删除掉,可是执行这个步骤,后面采集的数据就无法存进数据库.vgd了,导出数据是空白。


接着我又尝试脚本一开始就判断,是否存在collected.vgd这个文件,存在就删除,结束流程。然后重新打开脚本来采集。

假如已经删除了collected.vgd或者不存在collected.vgd这个文件。手动单步测试删除文件步骤是删除失败的,是正常的。

但是在运行窗口,不在在collected.vgd这个文件,也提示删除成功,而不是正常的提示,删除失败。




这对判断造成了干扰。

希望老立,能增加脚本设置功能,保留之前不合并数据,和合并数据两个选择。
分享 转发
擅长xpath和钻牛角尖。
TOP
2#

支持,一直都用6.7就是因为这个,有点搞不懂为什么新版本要这样设定?
TOP
发新话题 回复该主题