aws 【AWS】【EMR】分散処理させたコアのEC2が出力したログを検索する
AWSの分散処理基盤サービスであるEMRを利用していて、 sparkで実装し、EC2を数台、時には数十台起動させて 分散処理することがあります。 分散処理は難しいところもありますが、 大量のデータを扱う場合には非常に有益です。 ですが、分散...
2021-06
aws 
IT 【sublime text】改行コードを検索＆キーマクロ登録実行
macでsublime textを使っていて、改行コードの検索に クセがあったのでメモ。 ついでによく検索して確認してしまうキーマクロの登録と実行方法についてもメモ。
aws 【aws】【CLI】ロールごとにprofileを分ける
awsにて複数の開発環境を各環境用ロールを用意し それを切り替えることで実現しているときに、 credential profileでうまいこと切り替えてCLIを実行できないか？ を検証したときのメモ。
IT 【python】tenacityを使用したリトライ処理
pythonでリトライ処理って先日実装したときは、 自前でやってしまっていたのだけど、tenacityっていうモジュールがあること知ったので サンプルを実装してみた。
IT 【python】and と & の処理の違い
pythonで条件結合するときのandと&での処理が 微妙に違うことがわかったので検証。
IT 【python】商と余りを一度に取得する
pythonに商と余りを一度に取得する関数があることを 知ったのでサンプルコード。
IT 【python】f文字列 0埋め
たまに必要になる0埋め。
IT 【jackson】JsonInclude.Include.NON_NULL
javaのjson変換ライブラリで有名なjackson。 jacksonのパラメータとしてnullのフィールドは出力しない JsonInclude.Include.NON_NULLのサンプルコード。
ApacheCommons 【Apache Commons】StringEscapeUtils
ApacheCommonsからStringEscapeUtilsの使い方。