git 【git】コミットコメントプレフィックス
gitのコミットコメントのプレフィックスのルールとして、 Angularの公式のDEVELOPERS.mdにあるのがいいなぁと思ったので、 自分のメモ的に紹介させていただこうと思います。
git 
IT 【python】requirements.txt -> poetryへ移行する
ちょっと前まで、requirements.txtで依存ライブラリ管理して、 test-requirements.txtとか、testRequirements.txtなどに ファイル分割してテスト周りのライブラリ管理していました。 最近、これ...
IT 【sls】【python】【Mac】lambdaでimportエラー（cannot import name ‘etree’ from ‘lxml’）の回避
serverless frameworkにてdeployしたlambdaを実行したところ、 Unable to import module 'モジュール名': cannot import name 'etree' from 'lxml' こ...
IT 【python】【sls】【lambda】デコレータで入力チェックする
pythonのデコレータ使ってますか？？ 現場で、serverless frameworkでデプロイしたAPI Gateway ＋ lambdaなメソッドで HTTPヘッダに特定の値が設定されているか？をチェックする必要が出てきました。 そ...
IT 【python】pandasでデータを操作する
最近は、データ分析なんかを担当しているので、 awsのs3に散りばめられたcsvと格闘することが多いです。 それを処理するために主に使用する言語がpythonなのですが、 テキストデータを扱うためにpandasというライブラリを使用していま...
Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む
以前、別のプロジェクトでscalaの方のsparkで EMRを利用した分散処理基盤の実装というのは行っていました。 今回はpysparkを使用することになったのですが、 いろいろspark時代の知識は有効であったものの、 postgresq...
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする
今回はawsのDynamoDBに特化したお話。 実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、 motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、 早速使ってみた感じです。...
aws zappaでHello Worldしてみた。
先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。 Hello Worldに向けて、 【windows10】pyenv・pipenvでpythonの仮想環境を構築する windowsでAWS CLIを...
aws windowsでAWS CLIを使用する
環境が変わるといつも「あれ？AWS CLIってどう設定するんだったっけ？」となるので、 コマンドが叩けるようになるまでの操作について、備忘録的に記載。
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する
普段、現場ではmacでpython使っているのですが、 zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、 家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、 まずpython...