发布网友 发布时间:2023-04-11 09:31
共1个回答
热心网友 时间:2023-09-22 10:11
nodejsaxios内存释放,经查询网站相关公开信息得知,nodejs默认内存只有1G左右,超过了就会报堆溢出,发送端读取发送,应该是一个生产大于消费的过程,就会产生堆积,达到一定程度就爆了。于是引入一个叫async的包,对读取的事件做队列,只有当处理完callback函数返回时才会处理下一个事件。这里设置了对每个文件夹做队列,一个个文件夹读取。接收端要存到数据库,我每个文件解析完都要存一千条左右的数据。读取发送是毫秒级别的,而存数据pg数据库一条要几十毫秒,一千条要一分钟以上,就会产生接收到的数据堆积,然后再爆炸,还很慢。