IT 【python】【json】データ差分圧縮・復元
jsonを扱うときに前提条件が揃ってさえいれば、 容量をガツッと圧縮することができることを教えていただいたので、 それを実装して圧縮〜復元とやってみたのでメモ。
IT 
aws 【DynanoDB】【python】json.gzのバイナリデータを読む
DynamoDBにバイナリデータが格納できるのは知ってたのですが、 それをどう取得するのかなー？ということで調べてみたら、 意外に色々やる必要があることがわかったのでメモ。
aws 【boto3】【dynamo】batch_get_itemでリトライ取得
boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに 制限があります。(データが16MB or 項目が100まで) 取得できなかったデータは、UnprocessKeysを使用して もう一度取得することで不足分...
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない？
お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑 ここのところ、プロジェクトが２、３同時に対応することが多くて、 ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。 さて、本日はpandasでto_jsonでj...
docker 【python】【sqlalchemy】ローカル環境でdockerにデータベースを立てて単体テストする
sqlalchemyを使った実装をしていて、単体テストをする際、 単純なクエリであればmockを使用したテストでも良いかと思いますが、 複雑なクエリをクエリビルダーによって構成している場合は、 それらをmockで確認するのはちょっと現実的で...
IT 【python】withな処理をcontextmanagerで実装する
ファイルの読み込みやデータベースのセッション管理など、 withを使用しクローズを自動でおまかせするような処理を記述する際は、 contextmanagerがおすすめだよと教えてもらいました。 そのあたりを自分のメモとして記載。 (adsb...
IT 【sqlalchemy】サブクエリの使い方
今回はsqlalchemyによるサブクエリの使い方についてです。 こちらのサンプルの対象のデータベースはPostgresqlです。
IT 【pycharm】isortで複数行importの改行をバックスラッシュからカッコにする
こちらでpycharmでコード保存した時に blackを自動適用しコードフォーマットする方法を紹介しました。 最近では同じ方法を使って、isortというimportの順序を PEP8に従って整えるモジュールも同時に適用するようにしていました...
git 【git】コミットコメントプレフィックス
gitのコミットコメントのプレフィックスのルールとして、 Angularの公式のDEVELOPERS.mdにあるのがいいなぁと思ったので、 自分のメモ的に紹介させていただこうと思います。
IT 【python】requirements.txt -> poetryへ移行する
ちょっと前まで、requirements.txtで依存ライブラリ管理して、 test-requirements.txtとか、testRequirements.txtなどに ファイル分割してテスト周りのライブラリ管理していました。 最近、これ...