emr

AWSの分散処理基盤サービスであるEMRを利用していて、sparkで実装し、EC2を数台、時には数十台起動させて分散処理することがあります。分散処理は難しいところもありますが、大量のデータを扱う場合には非常に有益です。ですが、分散処理してい...