IT 【python】pandasでデータを操作する
最近は、データ分析なんかを担当しているので、awsのs3に散りばめられたcsvと格闘することが多いです。それを処理するために主に使用する言語がpythonなのですが、テキストデータを扱うためにpandasというライブラリを使用しています。今...
IT 
Apache Spark 【EMR】【pyspark】postgresqlのデータをDataframeに読み込む
以前、別のプロジェクトでscalaの方のsparkでEMRを利用した分散処理基盤の実装というのは行っていました。今回はpysparkを使用することになったのですが、いろいろspark時代の知識は有効であったものの、postgresqlのよう...
IT 【python】pytest + boto3 + motoでDynamoDBをモックしてテストする
今回はawsのDynamoDBに特化したお話。実際、pytest-mockなんかを駆使すればいくらでもモッキングはできるのですが、motoというbotoの処理をモック化してくれるライブラリがあるとのことなので、早速使ってみた感じです。直近で...
aws zappaでHello Worldしてみた。
先日こちらでもお話した通り、今回はzapaでHello Worldをしてみたいと思います。Hello Worldに向けて、【windows10】pyenv・pipenvでpythonの仮想環境を構築するwindowsでAWS CLIを使用す...
aws windowsでAWS CLIを使用する
環境が変わるといつも「あれ？AWS CLIってどう設定するんだったっけ？」となるので、コマンドが叩けるようになるまでの操作について、備忘録的に記載。
IT 【windows10】pyenv・pipenvでpythonの仮想環境を構築する
普段、現場ではmacでpython使っているのですが、zappaというpythonベースのサーバーレスフレームワークを使う必要が出てきて、家のPCがwindowsではあるものの、大丈夫だろうとサクッと試そうと思ったら、まずpythonの仮想...
IT コマンドプロンプトで隠しファイルを削除する
ちょっと前にエクスプローラに表示されないけど、コマンドで確認すると存在するファイルがあって、それを削除した時のコマンドについて備忘録。
git 【git】リモートブランチをローカルブランチに作成＆チェックアウト
リモートにブランチ作成して、ローカルに同じ名前でブランチを作成＆チェックアウトって流れをいつも調べてやっているので、備忘録。
ツール お風呂で思いついたアイデアを忘れずメモする方法
普段、アイデアや気づいたりしたことは忘れずメモを取るようにしています。こういうことって、思いついたときにすぐ何かに記しておかないと、忘れちゃいますよね。覚えておいて後から・・・・として、結局思い出せなかったことが何度あったことか。
雑記 【おうちじかん】タイマー付きコーヒーメーカーを求めて
新型コロナの影響でテレワークをしている傍ら、コーヒーを飲むことが多くなったーなんて人もいるとかいないとか笑コーヒーの美味しい淹れ方といえば、湯を沸かし、ドリップで丁寧に時間をかけて・・・。といったことを想像しますが、その楽しみはもう少し先に...