2019-10

sparkでjdbc経由でデータベースの内容を 読み込んでDataFrameとして扱うことは少なくないと思います。 しかし大量データを取得するような場合は、 1クエリでデータを取得するより、 並列で取得したほうが効率がよいことがあります。 ...

一意のIDを付与するためにUUIDを使用することはよくあると思います。 ところが、このUUID、 sparkでDataFrameを扱う中で 使用するには少し注意が必要です。 以下サンプル言語はscalaです。