aws 【DynanoDB】【python】json.gzのバイナリデータを読む
DynamoDBにバイナリデータが格納できるのは知ってたのですが、 それをどう取得するのかなー？ということで調べてみたら、 意外に色々やる必要があることがわかったのでメモ。
2021-03
aws 
aws 【boto3】【dynamo】batch_get_itemでリトライ取得
boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに 制限があります。(データが16MB or 項目が100まで) 取得できなかったデータは、UnprocessKeysを使用して もう一度取得することで不足分...
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない？
お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑 ここのところ、プロジェクトが２、３同時に対応することが多くて、 ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。 さて、本日はpandasでto_jsonでj...