请求方法不工作的https://arxiv.org pdf文件

我正在使用请求方法获取文件stream，其作品的所有PDF文件，但是当我尝试获得https://arxiv.org网站PDF文件（ https://arxiv.org/pdf/1611.10012.pdf ），那么它不是加工。

对于https://arxiv.org/网站pdfs给予403 fobidden状态码，而对于其他网站pdf文件则返回200状态码。

这是我的代码获取其他网站的PDF文件

request('http://uberthings.com/mobile/intro_to_mobile.pdf', function (error, response, body) { console.log('error:', error); console.log('statusCode:', response && response.statusCode); console.log('body:', body); }); 

//返回200个状态码

这是我的https://arxiv.org其他网站pdfs的代码

  request('https://arxiv.org/pdf/1611.10012.pdf', function (error, response, body) { console.log('error:', error); console.log('statusCode:', response && response.statusCode); console.log('body:', body); }); 

//返回403状态码

任何想法为什么特定网站的请求方法（ https://arxiv.org/pdf/1611.10012.pdf ）不起作用？

Answer 1

访问被拒绝403.可悲的是，您的客户端不提供适当的用户代理，因此被排除在外。

在请求标题中修复这个通过用户代理

 var options = { url: 'https://arxiv.org/pdf/1611.10012.pdf', headers: { 'Referer': 'https://arxiv.org', 'User-Agent': 'stagefright/1.2 (Linux;Android 5.0)' } } request(options, function (error, response, body) { console.log('error:', error); console.log('statusCode:', response && response.statusCode); console.log('body:', body); }); 

用户代理用户代理列表https://gist.github.com/enginnr/ed572cf5c324ad04ff2e