Python请求:从Nodejs HTTP服务器请求突然缓慢

我有一个NodeJS HTTP服务器,显示一个JSON文件,每秒更新多次。 样本数据:

{ "MainText": [{ "field1": "text", "field2": "text", "field3": 1234 }, { "field1": "text", "field2": "text", "field3": 1234 }, { "field1": "text", "field2": "text", "field3": 1234 } ] } 

通常在一段时间之后,这个JSON中这样的条目的数量增长到约200k或更多。

我必须将整个JSON导入一个pandas数据框,我正在使用以下方法:

 df = pd.DataFrame(json.loads(requests.get(url).text)) 

通常这大概需要0.3秒。 但是对于我来说没有任何理由,在几个请求之后,它开始花费接近4秒(几乎)相同的固定大小的JSON。 在发出请求时,CPU或RAM的使用量没有变化。

如果我重新启动NodeJS服务器,则问题会暂时解决,但稍后会回来。

我是否需要closures与HTTP服务器的连接? 我希望180K行的文本是不是太多的请求从服务器快速获取?

我应该寻找一种将JSON数据加载到pandas数据框的更有效的方法吗?