将300 MB文件加载到BigQuery时发生超时错误

我遵循加载数据发布请求页面上提供的Node.js示例（接近底部： https ： //cloud.google.com/bigquery/loading-data-post-request ），但我遇到了一个问题与更大的文件。 示例代码适用于13 MB的.csv，但是当我尝试更大的文件，无论是25 MB还是300 MB，它不起作用。 我看到以下错误：

events.js：154扔呃; //未处理“错误”事件^

Error: ETIMEDOUT at null._onTimeout (/Users/Hertig/Development/BitDeliver/BigQuery/node_modules/request/request.js:772:15) at Timer.listOnTimeout (timers.js:92:15) 

我认为这种加载数据的方法会支持更大的文件。 有没有人经历过这个？ 任何build议加载更大的文件（大约400 MB或更大），将不胜感激。

Answer 1

将大文件加载到BigQuery时，最好的方法是先将它们上传到Google Cloud Storage，然后告诉BigQuery从您的gs：// bucket / path / file *中读取它们。