IT 【sls】【python】【Mac】lambdaでimportエラー（cannot import name ‘etree’ from ‘lxml’）の回避
serverless frameworkにてdeployしたlambdaを実行したところ、 Unable to import module 'モジュール名': cannot import name 'etree' from 'lxml' こ...
IT 
IT 【python】【sls】【lambda】デコレータで入力チェックする
pythonのデコレータ使ってますか？？ 現場で、serverless frameworkでデプロイしたAPI Gateway ＋ lambdaなメソッドで HTTPヘッダに特定の値が設定されているか？をチェックする必要が出てきました。 そ...
IT 【python】pandasでデータを操作する
最近は、データ分析なんかを担当しているので、 awsのs3に散りばめられたcsvと格闘することが多いです。 それを処理するために主に使用する言語がpythonなのですが、 テキストデータを扱うためにpandasというライブラリを使用していま...
Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む
以前、別のプロジェクトでscalaの方のsparkで EMRを利用した分散処理基盤の実装というのは行っていました。 今回はpysparkを使用することになったのですが、 いろいろspark時代の知識は有効であったものの、 postgresq...
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする
今回はawsのDynamoDBに特化したお話。 実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、 motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、 早速使ってみた感じです。...
aws zappaでHello Worldしてみた。
先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。 Hello Worldに向けて、 【windows10】pyenv・pipenvでpythonの仮想環境を構築する windowsでAWS CLIを...
aws windowsでAWS CLIを使用する
環境が変わるといつも「あれ？AWS CLIってどう設定するんだったっけ？」となるので、 コマンドが叩けるようになるまでの操作について、備忘録的に記載。
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する
普段、現場ではmacでpython使っているのですが、 zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、 家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、 まずpython...
IT コマンドプロンプトで隠しファイルを削除する
ちょっと前にエクスプローラに表示されないけど、 コマンドで確認すると存在するファイルがあって、 それを削除した時のコマンドについて備忘録。
git 【git】リモートブランチをローカルブランチに作成＆チェックアウト
リモートにブランチ作成して、 ローカルに同じ名前でブランチを作成＆チェックアウトって流れを いつも調べてやっているので、備忘録。