aws 【boto3】【dynamo】batch_get_itemでリトライ取得
boto3のDynamoDBはbatch_get_itemは1回で取得できるデータに制限があります。(データが16MB or 項目が100まで)取得できなかったデータは、UnprocessKeysを使用してもう一度取得することで不足分を追加...
python
aws 
IT 【EMR】【pyspark】pandasのs3へのto_jsonがgzip圧縮されない？
お久しぶりですね。実に4ヶ月も更新をサボってしまってました笑ここのところ、プロジェクトが２、３同時に対応することが多くて、ナレッジは溜まっているもののなかなかブログにかけずにおりました。。。さて、本日はpandasでto_jsonでjson...
docker 【python】【sqlalchemy】ローカル環境でdockerにデータベースを立てて単体テストする
sqlalchemyを使った実装をしていて、単体テストをする際、単純なクエリであればmockを使用したテストでも良いかと思いますが、複雑なクエリをクエリビルダーによって構成している場合は、それらをmockで確認するのはちょっと現実的ではない...
IT 【python】withな処理をcontextmanagerで実装する
ファイルの読み込みやデータベースのセッション管理など、withを使用しクローズを自動でおまかせするような処理を記述する際は、contextmanagerがおすすめだよと教えてもらいました。そのあたりを自分のメモとして記載。 (adsbygo...
IT 【sqlalchemy】サブクエリの使い方
今回はsqlalchemyによるサブクエリの使い方についてです。こちらのサンプルの対象のデータベースはPostgresqlです。
IT 【pycharm】isortで複数行importの改行をバックスラッシュからカッコにする
こちらでpycharmでコード保存した時にblackを自動適用しコードフォーマットする方法を紹介しました。最近では同じ方法を使って、isortというimportの順序をPEP8に従って整えるモジュールも同時に適用するようにしていました。そこ...
IT 【python】requirements.txt -> poetryへ移行する
ちょっと前まで、requirements.txtで依存ライブラリ管理して、test-requirements.txtとか、testRequirements.txtなどにファイル分割してテスト周りのライブラリ管理していました。最近、これをやめ...
IT 【sls】【python】【Mac】lambdaでimportエラー（cannot import name ‘etree’ from ‘lxml’）の回避
serverless frameworkにてdeployしたlambdaを実行したところ、Unable to import module 'モジュール名': cannot import name 'etree' from 'lxml'こんな...
IT 【python】【sls】【lambda】デコレータで入力チェックする
pythonのデコレータ使ってますか？？現場で、serverless frameworkでデプロイしたAPI Gateway ＋ lambdaなメソッドでHTTPヘッダに特定の値が設定されているか？をチェックする必要が出てきました。そこで今...
IT 【python】pandasでデータを操作する
最近は、データ分析なんかを担当しているので、awsのs3に散りばめられたcsvと格闘することが多いです。それを処理するために主に使用する言語がpythonなのですが、テキストデータを扱うためにpandasというライブラリを使用しています。今...