2021-02-01から1ヶ月間の記事一覧

AWS EMRでSpark RAPIDSを使う

AWSでSpark RAPIDSを使うには クラウドじゃなくて,自前のサーバでSpark RAPIDSを使うには,Spark RAPIDS一式を準備する必要があります. マシンがX86ならビルド済みのライブラリがありますが,Power PCだと自前で用意する必要があります.Spark RAPIDSを試…

ScalaでSparkのプログラムを作る作業を高速化する.

SparkのScalaプロジェクトのビルドを爆速にする Scalaを気に入っています.Javaはとにかくコードが冗長になり,気持ち悪かったです.Cはシンプルだし大好きです.なのでObjective-CやC++はそれなりに好きだったのですが,Cのコードがそのまま書けてしまうの…

Spark RAPIDSを試したら凄かった

NVIDIA Spark RAPIDSを試してみた Apache Sparkファンとしては,Sparkの色々な活用方法を探しています.特に私はIBM PowerでSparkを使っているので,機械学習のためのライブラリを使おうとすると,色々と苦労しています.幸い,IBM Powerは,ギリギリでNVIDI…