Google云端平台:运行几个小时的抓取脚本

我有一个NodeJS脚本,每天都会删除url。 这些请求被限制为对服务器友善。 这导致我的脚本运行了相当长的时间(几个小时)。

我一直在寻找一种在GCP上部署的方法。 而且因为之前在cron中完成了,所以我自然会看到如何在Google Cloud上运行cronjob。 但是,根据文档 ,该脚本必须作为API公开,并且对该API的http调用最多只能运行60分钟,这不符合我的需要。

我看了这个问题 ,build议使用云端function。 不过,我不确定这种方法适合我的情况,因为我的脚本需要比在那里描述的简单的服务器监视作业更多的处理。

有没有人在GCP上做这件事?

注意:为了澄清,我想避免将其部署在VPS上。

编辑:我伸手到谷歌,这是他们的回复:

感谢您的耐心等待。 目前,由于当前App Engine的cron限制为每个HTTP请求60分钟 ,因此无法连续运行6到7个小时的cron脚本。 如果您的使用案例可能,则可以将7个小时分配给重复执行的任务,例如每10分钟或1小时。 cron作业请求受到与推送任务队列相同的限制。 免费应用程序最多可以有20个计划任务。 您可以参考cron计划格式的文档 。

另外,可以继续使用Postgres和Redis。 不过,请注意Postgres仍处于testing阶段。

由于我不能传播任务,我不得不继续为此pipe理一个dokku VPS。