aws 【DynanoDB】【python】json.gzのバイナリデータを読む
DynamoDBにバイナリデータが格納できるのは知ってたのですが、それをどう取得するのかなー？ということで調べてみたら、意外に色々やる必要があることがわかったのでメモ。
2021-03
aws 
aws 【boto3】【dynamo】batch_get_itemでリトライ取得
boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに制限があります。(データが16MB or 項目が100まで)取得できなかったデータは、UnprocessKeysを使用してもう一度取得することで不足分を追加...
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない？
お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑ここのところ、プロジェクトが２、３同時に対応することが多くて、ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。さて、本日はpandasでto_jsonでjson...