Hadoop 【Windows】Hadoopを動かしてみる
この前までApache Sparkを使ったお仕事をしていましたが、 今度はHadoopをそのまま使ったお仕事になりそう。 ということで、何はともあれ動かしてみようと思います。 ただ、サイトで検索すると大体がlinuxやmacでの使用方法ばか...
IT
Hadoop 
Apache Spark 【Apache Spark】jdbc並列読み込みさせる
sparkでjdbc経由でデータベースの内容を 読み込んでDataFrameとして扱うことは少なくないと思います。 しかし大量データを取得するような場合は、 1クエリでデータを取得するより、 並列で取得したほうが効率がよいことがあります。 ...
Apache Spark 【Apache spark】UUIDを使い回す
一意のIDを付与するためにUUIDを使用することはよくあると思います。 ところが、このUUID、 sparkでDataFrameを扱う中で 使用するには少し注意が必要です。 以下サンプル言語はscalaです。
aws 【AWS】CodeCommitプロトコルを使用してgitにアクセスする
AWSでCodeCommitでgit cloneする場合に、 CodeCommitプロトコルが使えるとなにかと便利なので備忘録。
IT 【scala】数値・36進数相互変換
ブログ更新しばらくご無沙汰しちゃいましたねー。 ということで今回は、 あまり使用する機会はないかもしれないですが、 scalaによる36進数（0-9A-Z)に変換するサンプルを紹介しようと思います。 とはいっても36進数までなら何進数でもO...
IT 【wordpress】本文が表示されなくなった！？のときの僕の場合の対処法
僕は普段さくらインターネットを レンタルサーバとして利用しているのですが、 最近、PHPが7.3に上がりますよーという通知がきてました。 そこまで大きな問題も無いだろうと踏んでいたのですが、 実際7.3になったところ、あら大変。 タイトル以...
Apache Spark 【Apach Spark】DataFrameのforeachでハマっちゃった
AWS EMRを使用することになり、 アプリとしてsparkを使用することになりました。 scalaはplay frameworkで過去にお世話になっていましたが、 saprk自体は初めて触るので、 サンプルを作成してみようかなということに...
IT 【php】laraveるsampる -第2回-
仕事柄個人的にもお仕事をいただくことがあります。 今回はレガシーシステムをphpでリプレイスしたいという案件が入りそう。 laravelを使用するようなのですが、個人的には使ったことがないので、 早速環境構築して、サンプルを作ってみたいと思...
google 【Google Adsence】ads.txtで警告が表示された時の対応方法
Google Adsenceのトップページに ここ数日で以下のような警告が出てくるようになりました。 要注意 - ads.txt ファイルが含まれていないサイトがあります。収益に重大な影響が出ないよう、この問題を今すぐ修正してください。 今...
IT 【php】laraveるsampる -第１回-
仕事柄個人的にもお仕事をいただくことがあります。 今回はレガシーシステムをphpでリプレイスしたいという案件が入りそう。 laravelを使用するようなのですが、個人的には使ったことがないので、 早速環境構築して、サンプルを作ってみたいと思...