2014-05-01から1ヶ月間の記事一覧

のりくらv.1.0.0発表

ソソられますねー．．．数日，気になって仕方がなかったです．時間がなくてまだ触れていません． Norikra v1.0.0 - たごもりすメモ ストリーミングデータ処理と騒ぎ始めて，はや2年． Streaming Processing for Big Data - なぜか数学者にはワイン好きが多い…

ITALIAN BAR＆GRILL VENTO ピザ編

久しぶりですに行ってきました．ITALIAN BAR＆GRILL VENTO - なぜか数学者にはワイン好きが多い ITALIAN BAR＆GRILL VENTO パスタ編 - なぜか数学者にはワイン好きが多い ITALIAN BAR＆GRILL VENTO 蟹パスタ編 - なぜか数学者にはワイン好きが多い 2009年か…

■

ファイルベースのKVSがHadoop Streamingで使えるか確認してみた

MapReduceはキー・バリューで処理するので，キーのIDを最終的にLook up tableなんかを引いて，IDから何らかの意味のある値なり文字列にして出力したいことがよくあります．ただ，分散処理されちゃうので，LUTはHBaseなりCassandraに置くとかが普通な感じです…

Calbee ポテトチップス 濃く味（こくみ） ホタテ醤油バター味

これはかなり美味しいです．しょうゆ味ですが，ホタテの潮騒味もして，そしてバターの香りと良い感じです．原材料名は，「デキストリン」，「たんぱく加水分解物（大豆・鶏肉・豚肉を含む）」，「ホタテエキスパウダー」，「砂糖」，「酵母エキスパウダー」…

■

[解決確認] Sparkのインストールにハマる[7]

YARNのクライアントモードで実行が確認できたなら， [解決確認] Sparkのインストールにハマる[6] - なぜか数学者にはワイン好きが多い スタンドアロンモードも確認したいです．ローカルモードはどうでもいいです． $ export HADOOP_CONF_DIR=/usr/local/hado…

[解決確認] Sparkのインストールにハマる[6]

とりあえず，サンプルプログラムくらい動かさないと，構築できたかどうか分かりません．モンテカルロ法の円周率の計算をいきましょう．Hadoopで言う，hadoop-examplesのpiですね． 実行． export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop;export SPARK…

[一旦解決] Sparkのインストールにハマる[5]

結構いいところまでいったのに， Sparkのインストールにハマる[2] - なぜか数学者にはワイン好きが多い そこから強引に走ったのが間違いでした．私らしくない．たった一行のエラーなので，訂正できないかと調べてみました．ググると神の声が． Apache Spark …

Sparkのインストールにハマる[4]

プリコンパイル済みの最新版を入れてみました． $ wget http://people.apache.org/~pwendell/spark-1.0.0-rc3/spark-1.0.0-bin-hadoop2.tgz $ tar xf spark-1.0.0-bin-hadoop2.tgz $ chown -R spark:spark spark-1.0.0-bin-hadoop2 $ ln -sv spark-1.0.0-bin…

Sparkのインストールにハマる[3]

無理やりインストールしてあるバージョンのCDHとは違うバージョンを指定してみました． $ time SPARK_HADOOP_VERSION=2.3.0-cdh5.0.0 SPARK_YARN=true sbt/sbt assembly Launching sbt from sbt/sbt-launch-0.12.4.jar [info] Loading project definition fr…

Sparkのインストールにハマる[2]

よく考えたら，Hadoop関係以外は取れているんだから，プロクシは効いているはず．sbt-launch-0.12.4.jar自体もダウンロードできていますし． ひょっとしたらhttpsアクセスが失敗しているのじゃないかと思って，Clouderaのレポジトリをhttpsじゃなくてhttpで…

Sparkのインストールにハマる[1]

MahoutがHadoopを捨てSparkベースに Apache Mahout 25 April 2014 - Goodbye MapReduce The Mahout community decided to move its codebase onto modern data processing systems that offer a richer programming model and more efficient execution than…

Calbee ポテトチップス 七味唐辛子味

じわっとした辛さです．辛味レベル2だそうなので，あまり辛くないレベルだそうです． 酒のツマミには良いですが，飲み物や他のおやつ無しに，これだけ食べてると結構辛く感じてきそうです．原材料名は，「じゃがいも（遺伝子組換えでない）」，「デキストリ…

■

Calbee ポテトチップス 沖縄シークワーサー味

シークワーサーの香りがいいですね．塩味ベースなんですが，ほんのりと甘さを感じるところも美味しいです．原材料名は，「じゃがいも（遺伝子組換えでない）」，「デキストリン」，「砂糖」，「食塩」，「粉末しょうゆ（小麦・大豆を含む）」，「かつおぶし…

ZFSの圧縮パフォーマンスベンチマーク

次のパターンを試しました． 非圧縮通常ファイルサイズ 557メガバイトの，Cloudera社hadoop-2.3.0-CDH5.0.0です gzip圧縮済み元ファイル通常ファイルサイズ 225メガバイトの，Cloudera社hadoop-2.3.0-CDH5.0.0のgzip圧縮ファイルです xz圧縮済み元ファイル通…

■

Sqoopを入れて，TSV形式ファイルとMySQLからHiveに入れるまでの復習

まずはSqoopから置きます．プロンプトが#はroot，$は一般ユーザです． # tar xf sqoop-1.4.3-cdh4.5.0.tar.gz -C /usr/local/ # chown -R hadoop:hadoop /usr/local/sqoop-1.4.3-cdh4.5.0/ # ln -s /usr/local/sqoop-1.4.3-cdh4.5.0 /usr/local/sqoop # emac…

Calbee タニタ食堂監修の 大豆スナック

なんとも表現しがたいですけど，甘辛くて美味しいですね．もちろん，味は濃すぎないです． なかなか良い感じです．原材料名は，「脱脂大豆（遺伝子組換えでない）」，「コーングリッツ（遺伝子組換えでない）」，「ライスグリッツ」，「粉末しょうゆ（小麦を…

■

iPhone5が爆発しそうに

「iPhoneハマグリ」として有名ですが，私のiPhone5もリチウム電池が膨れて来たのに昨日気付きました．↓よく見たら，横が膨れているのがわかります．．． ↓部屋の電気を消して写真を撮ってみました．ライトが漏れてます！ 即効で昨日のうちにApple Storeに予…

Hiveのパーティションとカラム追加にハマる

まずは普通にTSV形式のファイルから，HiveにLOAD DATAしようとしました． #テスト用のデータベースを作る $ hive -e 'CREATE DATABASE test' OK Time taken: 3.668 seconds #テーブルが空であることの確認 $ hive -database=test -e 'SHOW TABLES' Time take…

yumのimporting one of the Phython modulesにハマる

$ yum There was a problem importing one of the Python modules required to run yum. The error leading to this problem was: /usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback Please install a package …

Calbee ポテトチップス ギザギザ オリーブ＆ガーリック味

予想通り！オリーブの香りが良い感じです．噛むと味はガーリックという感じです． なかなか良いです．原材料名は，「じゃがいも（遺伝子組換えでない）」，「ぶどう糖」，「砂糖」，「食塩」，「ガーリックパウダー」，「オニオンパウダー」，「チキンエキス…

■