IT 【python】and と & の処理の違い
pythonで条件結合するときのandと&での処理が微妙に違うことがわかったので検証。
IT
IT 
IT 【python】商と余りを一度に取得する
pythonに商と余りを一度に取得する関数があることを知ったのでサンプルコード。
IT 【python】f文字列 0埋め
たまに必要になる0埋め。
IT 【jackson】JsonInclude.Include.NON_NULL
javaのjson変換ライブラリで有名なjackson。jacksonのパラメータとしてnullのフィールドは出力しないJsonInclude.Include.NON_NULLのサンプルコード。
ApacheCommons 【Apache Commons】StringEscapeUtils
ApacheCommonsからStringEscapeUtilsの使い方。
IT 【python】【json】データ差分圧縮・復元
jsonを扱うときに前提条件が揃ってさえいれば、容量をガツッと圧縮することができることを教えていただいたので、それを実装して圧縮〜復元とやってみたのでメモ。
aws 【DynanoDB】【python】json.gzのバイナリデータを読む
DynamoDBにバイナリデータが格納できるのは知ってたのですが、それをどう取得するのかなー？ということで調べてみたら、意外に色々やる必要があることがわかったのでメモ。
aws 【boto3】【dynamo】batch_get_itemでリトライ取得
boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに制限があります。(データが16MB or 項目が100まで)取得できなかったデータは、UnprocessKeysを使用してもう一度取得することで不足分を追加...
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない？
お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑ここのところ、プロジェクトが２、３同時に対応することが多くて、ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。さて、本日はpandasでto_jsonでjson...
docker 【python】【sqlalchemy】ローカル環境でdockerにデータベースを立てて単体テストする
sqlalchemyを使った実装をしていて、単体テストをする際、単純なクエリであればmockを使用したテストでも良いかと思いますが、複雑なクエリをクエリビルダーによって構成している場合は、それらをmockで確認するのはちょっと現実的ではない...