S3 대용량 파일 다운로드 문제 (AWS SDK, node.js)

19 Jan 2021

Problemnode.js를 사용하고 AWS SDK1를 이용해 S3에서 파일을 다운로드를 구현 중 아래와 같이 코드를 작성해서 서비스 하고 있었다.비교적 작은파일 (50MB 미만)는 문제가 없었지만 대용량 파일 400MB 이상을 다운로드 시 서버 자원을 많이 사용하고 속도도 매우 느려지는 등 문제가 발생하기 시작했다.download(bucket, folder, type, id, callback) { const params = { Bucket: (bucket...


Node.js에서 파일 업로드 시 RangeError: Array buffer allocation failed

27 Nov 2019

ProblemNode.js에서 파일 업로드 시 RangeError: Array buffer allocation failed 에러가 발생하는 경우가 있다.메모리가 작은 장비에서 큰 용량의 파일을 다룰 때 주로 발생한다.주로 fs.readFile을 사용할 때 발생했었다.네트워크 처리는 다소 많지만 CPU나 메모리 사용률은 낮은 서비스에서 사양이 낮은 장비를 이용하는 경우 신경쓰지 못한다면 문제가 생길때까지 확인하지 못할 수도 있다.RangeError: Array buffer allocation...