Sparkのインストールにハマる[4]

プリコンパイル済みの最新版を入れてみました． $ wget http://people.apache.org/~pwendell/spark-1.0.0-rc3/spark-1.0.0-bin-hadoop2.tgz $ tar xf spark-1.0.0-bin-hadoop2.tgz $ chown -R spark:spark spark-1.0.0-bin-hadoop2 $ ln -sv spark-1.0.0-bin…

2014-05-11

Sparkのインストールにハマる[3]

無理やりインストールしてあるバージョンのCDHとは違うバージョンを指定してみました． $ time SPARK_HADOOP_VERSION=2.3.0-cdh5.0.0 SPARK_YARN=true sbt/sbt assembly Launching sbt from sbt/sbt-launch-0.12.4.jar [info] Loading project definition fr…

2014-05-11

Sparkのインストールにハマる[2]

よく考えたら，Hadoop関係以外は取れているんだから，プロクシは効いているはず．sbt-launch-0.12.4.jar自体もダウンロードできていますし．ひょっとしたらhttpsアクセスが失敗しているのじゃないかと思って，Clouderaのレポジトリをhttpsじゃなくてhttpで…

2014-05-11

Sparkのインストールにハマる[1]

MahoutがHadoopを捨てSparkベースに Apache Mahout 25 April 2014 - Goodbye MapReduce The Mahout community decided to move its codebase onto modern data processing systems that offer a richer programming model and more efficient execution than…