IT 【sls】【python】【Mac】lambdaでimportエラー(cannot import name ‘etree’ from ‘lxml’)の回避 serverless frameworkにてdeployしたlambdaを実行したところ、 Unable to import module 'モジュール名': cannot import name 'etree' from 'lxml' こ... 2020.09.08 ITpythonserverless framework
IT 【python】【sls】【lambda】デコレータで入力チェックする pythonのデコレータ使ってますか?? 現場で、serverless frameworkでデプロイしたAPI Gateway + lambdaなメソッドで HTTPヘッダに特定の値が設定されているか?をチェックする必要が出てきました。 そ... 2020.08.28 ITpythonserverless framework
IT 【python】pandasでデータを操作する 最近は、データ分析なんかを担当しているので、 awsのs3に散りばめられたcsvと格闘することが多いです。 それを処理するために主に使用する言語がpythonなのですが、 テキストデータを扱うためにpandasというライブラリを使用していま... 2020.08.18 ITpandaspython
Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む 以前、別のプロジェクトでscalaの方のsparkで EMRを利用した分散処理基盤の実装というのは行っていました。 今回はpysparkを使用することになったのですが、 いろいろspark時代の知識は有効であったものの、 postgresq... 2020.07.07 Apache SparkawsITpysparkpython
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする 今回はawsのDynamoDBに特化したお話。 実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、 motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、 早速使ってみた感じです。... 2020.06.24 ITmotopytestpython
aws zappaでHello Worldしてみた。 先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。 Hello Worldに向けて、 【windows10】pyenv・pipenvでpythonの仮想環境を構築する windowsでAWS CLIを... 2020.06.08 awsITpython
aws windowsでAWS CLIを使用する 環境が変わるといつも「あれ?AWS CLIってどう設定するんだったっけ?」となるので、 コマンドが叩けるようになるまでの操作について、備忘録的に記載。 2020.06.04 awsIT
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する 普段、現場ではmacでpython使っているのですが、 zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、 家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、 まずpython... 2020.05.27 ITpython
IT コマンドプロンプトで隠しファイルを削除する ちょっと前にエクスプローラに表示されないけど、 コマンドで確認すると存在するファイルがあって、 それを削除した時のコマンドについて備忘録。 2020.05.19 ITwindows バッチ
git 【git】リモートブランチをローカルブランチに作成&チェックアウト リモートにブランチ作成して、 ローカルに同じ名前でブランチを作成&チェックアウトって流れを いつも調べてやっているので、備忘録。 2020.05.18 gitIT