Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む
以前、別のプロジェクトでscalaの方のsparkでEMRを利用した分散処理基盤の実装というのは行っていました。今回はpysparkを使用することになったのですが、いろいろspark時代の知識は有効であったものの、postgresqlのよう...
python
Apache Spark 
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする
今回はawsのDynamoDBに特化したお話。実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、早速使ってみた感じです。直近で...
aws zappaでHello Worldしてみた。
先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。Hello Worldに向けて、【windows10】pyenv・pipenvでpythonの仮想環境を構築するwindowsでAWS CLIを使用す...
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する
普段、現場ではmacでpython使っているのですが、zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、まずpythonの仮想...
IT 【python】【pycharm】コード保存でBlackを自動適用する
pythonでコードフォーマットしてますか？pythonは書きやすい反面、カオスとなりがちなので、コードフォーマッタをプロジェクトに適用するということは、コードの統一性をもたせるのに大変有効です。今回はpycahrmでフォーマッタの１つであ...
IT 【python】自身のクラスを戻り値型に指定する
静的型チェックにmypyを使っていて、自身を戻り値とするメソッドの型指定がうまくできなったので、調べてみました。
Flask 【python】【Flask】単体テストのやり方
先日、Flaskを触り始めたのですが、チュートリアルを参考にサラッと動かすことができたのですが、いざ、単体テストをするときはどうするんだろう？という壁にぶつかりました。その解決策をサンプルコードとお話したいと思います。
IT 【python】【pytest】モックを使用したテストのやり方
どのような言語であっても、単体テストをする場合にはモックを使用してテストすることが多いはず。今回はpytestにおけるモックを使用したテストのやり方についてお話したいと思います。
IT 【python】【pycharm】コード保存で自動フォーマットさせる
pythonのコードフォーマットライブラリにblackというものがあります。個人的なコードの美を求めてプログラムするのもよいのですが、如何せんチームで作業しているとどうしたってその辺りにブレが生じて、争いを生みかねません。そこでblackの...
IT 【python】【pytest】1つのコードで複数のケースをテストする
テストケースを書いていると、値が一部違うだけでその他の部分には変更がないようなものに出会うことがあると思います。そんな時は大体テストケースプログラムの中身は冗長になってしまいますね。こういった場合に、お手軽に１コード で複数のケースを消化さ...