IT 【python】tenacityを使用したリトライ処理 pythonでリトライ処理って先日実装したときは、 自前でやってしまっていたのだけど、tenacityっていうモジュールがあること知ったので サンプルを実装してみた。 2021.06.06 ITpython
IT 【jackson】JsonInclude.Include.NON_NULL javaのjson変換ライブラリで有名なjackson。 jacksonのパラメータとしてnullのフィールドは出力しない JsonInclude.Include.NON_NULLのサンプルコード。 2021.06.02 ITjacksonjava
ApacheCommons 【Apache Commons】StringEscapeUtils ApacheCommonsからStringEscapeUtilsの使い方。 2021.06.01 ApacheCommonsITjava
IT 【python】【json】データ差分圧縮・復元 jsonを扱うときに前提条件が揃ってさえいれば、 容量をガツッと圧縮することができることを教えていただいたので、 それを実装して圧縮〜復元とやってみたのでメモ。 2021.05.12 ITpandaspython
aws 【DynanoDB】【python】json.gzのバイナリデータを読む DynamoDBにバイナリデータが格納できるのは知ってたのですが、 それをどう取得するのかなー?ということで調べてみたら、 意外に色々やる必要があることがわかったのでメモ。 2021.03.24 awsDynamoDBITpython
aws 【boto3】【dynamo】batch_get_itemでリトライ取得 boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに 制限があります。(データが16MB or 項目が100まで) 取得できなかったデータは、UnprocessKeysを使用して もう一度取得することで不足分... 2021.03.23 awsboto3DynamoDBITpython
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない? お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑 ここのところ、プロジェクトが2、3同時に対応することが多くて、 ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。 さて、本日はpandasでto_jsonでj... 2021.03.22 ITpandaspysparkpython