Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む
以前、別のプロジェクトでscalaの方のsparkで EMRを利用した分散処理基盤の実装というのは行っていました。 今回はpysparkを使用することになったのですが、 いろいろspark時代の知識は有効であったものの、 postgresq...
Apache Spark 
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする
今回はawsのDynamoDBに特化したお話。 実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、 motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、 早速使ってみた感じです。...
aws zappaでHello Worldしてみた。
先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。 Hello Worldに向けて、 【windows10】pyenv・pipenvでpythonの仮想環境を構築する windowsでAWS CLIを...
aws windowsでAWS CLIを使用する
環境が変わるといつも「あれ？AWS CLIってどう設定するんだったっけ？」となるので、 コマンドが叩けるようになるまでの操作について、備忘録的に記載。
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する
普段、現場ではmacでpython使っているのですが、 zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、 家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、 まずpython...
IT コマンドプロンプトで隠しファイルを削除する
ちょっと前にエクスプローラに表示されないけど、 コマンドで確認すると存在するファイルがあって、 それを削除した時のコマンドについて備忘録。
git 【git】リモートブランチをローカルブランチに作成＆チェックアウト
リモートにブランチ作成して、 ローカルに同じ名前でブランチを作成＆チェックアウトって流れを いつも調べてやっているので、備忘録。
ツール お風呂で思いついたアイデアを忘れずメモする方法
普段、アイデアや気づいたりしたことは忘れずメモを取るようにしています。 こういうことって、思いついたときにすぐ何かに記しておかないと、 忘れちゃいますよね。覚えておいて後から・・・・として、 結局思い出せなかったことが何度あったことか。
雑記 【おうちじかん】タイマー付きコーヒーメーカーを求めて
新型コロナの影響でテレワークをしている傍ら、 コーヒーを飲むことが多くなったーなんて人もいるとかいないとか笑 コーヒーの美味しい淹れ方といえば、 湯を沸かし、ドリップで丁寧に時間をかけて・・・。 といったことを想像しますが、 その楽しみはも...
IT 【python】【pycharm】コード保存でBlackを自動適用する
pythonでコードフォーマットしてますか？ pythonは書きやすい反面、カオスとなりがちなので、 コードフォーマッタをプロジェクトに適用するということは、 コードの統一性をもたせるのに大変有効です。 今回はpycahrmでフォーマッタの...