2014-08-01から1ヶ月間の記事一覧

“違和感表明”ブームに感じる違和感

イイネ.アイスバケツ、有名人に広がる“違和感表明”ブームに感じる違和感|LITERA/リテラ 「売名行為」「一過性」「自己満足」──。 しかし、それでいい、と断言する人がいる。それは、難病の子どもの夢をかなえる「メイク・ア・ウィッシュ」というボランテ…

Apache SparkのOutOfMemory

spark-shellの話です. ベンチマークをしようと思って,ちょっと大きなファイル(数ギガくらい)をsc.textFileしたら, 14/08/28 16:59:45 ERROR network.ConnectionManager: Corresponding SendingConnectionManagerId not found 14/08/28 16:59:45 WARN sc…

小柳先生の「HPCの歩み50年」が凄い

「HPCの歩み」とありますが,高性能計算に限らず,広くコンピュータ業界について説明されていて勉強になります. » HPCの歩み50年8月25日版の第6回によると, また1968年にIntel社が設立されたと述べたが、Fairchild Semiconductor社を退社したJerry Sanders…

WindowsでもPython/impression/hovercraft

Pythonが必須なので,オフィシャルサイトからダウンロードしようね. Python 2.7.8 Release | Python.org私のWindows 7では,こちらの64bit版インストーラを使ってみました. https://www.python.org/ftp/python/2.7.8/python-2.7.8.amd64.msipipのページに…

Calbee す〜ハー!! すっぱい タルタルソース味

酸っぱいものは安ワインのツマミにはあまり合わないのですが,このす〜ハー!!は余り酸っぱくないので大丈夫です.表面の味と香りは結構なマヨネーズ味です. タルタルソースかどうかは分かりませんでした.原材料名は,「じゃがいも(遺伝子組換えでない)…

Apache Sparkを高性能並列処理シェルとして使う

例題.こんな3行のファイル. $ hdfs dfs -cat test.csv 20131007,PC,http://www.xxx.co.jp/test,100 20131007,PC,http://www.xxx.co.jp/test3,87 20131007,PC,http://www.xxx.co.jp/test2,1000Sparkシェルは別にHDFSじゃなくてローカルなハードディスクのフ…

〇が〇したハンバーグ 東京壱番

こんばんは☆ 6月なのに二日連続30度越え! 暑いですね~(T_T)... - ハンバーグ&ステーキ専門店 東京壱番グリル | Facebook オフィシャルFacebook 思ったより美味しかったです. ハンバーグが柔らかいのは当然として,美味しい味がジワリと染みます.定食屋…

HTML5ベースのプレゼンテーションツールimpress.js

秋の学会シーズンが近づいていますね. プレゼン資料を作らなければならないのですが,PowerPointは飽きましたね. PDFをそのまま使ったり,DVIビューアを使ったり,OpenOfficeを使ったり,MagicPointを使ったりしたのですが,また別な使いやすいものを探し…

週2回の楽しみ

パステル家族. いろいろ読んでみましたが,comicoの中では一番面白いよ. パステル家族 | セイ - comico(コミコ) マンガ この作者のWebページやTwitterページも面白すぎる. セイ (@monputisei) | Twitter プチトリエ

Quiitaでさえも正しい2段階認証に対応したらしい

Qiita・Qiita:Teamのアカウントで2段階認証ができるようになりました - Qiita Blog 使用できるアプリはGoogle Authenticator、Duo Mobile、Authenticatorの3つがありますが、ここではiOSでGoogle Authenticatorを使った場合についてご説明します。 (・∀・)イイ…

Hadoop Streamingでカウンタで調子に乗った話

簡単にカウンタが出せたので,集計もやらせてみようと思ったのです. 例えば,次のようなファイルがあるとします. iPhone iPhone iPhone iPhone iPhone iPhone Android Android iPhone iPhone iPhone キーの出現回数をカウントする(つもりの)プログラムを…

Hadoop Streamingでカウンタの実装を間違えた話

手が滑って大嘘を書いていました... Hadoop Streamingでカウンタ - なぜか数学者にはワイン好きが多い スクリプトはRubyで書きました. results_count_yes = 0 STDIN.each_line do |line| results_count_yes += 1 STDERR.puts "reporter:counter:ResultsC…

実はまだ買ってない

ReLIFE 1 (アース・スター コミックス)作者: 夜宵草出版社/メーカー: 泰文堂発売日: 2014/08/12メディア: コミックこの商品を含むブログ (7件) を見る口が裂けても言えない.ところで,ぼっち神様も可愛いよ. ぼっち神様とオタ少女 | 梺乃みこと - comico(…

Apache Sparkで即席データベース作成&分析

Spark SQLというのがあります. Spark SQL & DataFrames | Apache Spark これがまた,速度も機能も凄まじいのです. リレーショナルデータベースなしで,即席でそれっぽいことができてしまいます.こんな感じの巨大なファイルがあるとします(HadoopのHDFS上…

Hadoop Streamingでカウンタ

JavaのMapReduceで言う,こんなのがやりたかったのです. private static enum ResultsCount { YES, NO, }; @Override public final void reduce(final LongWritable key, final Iterable<LongWritable> values, final Context output) throws IOException { output.getCou</longwritable>…

九州の味 Calbee ポテトチップス 博多めんたいこ味 深い旨味と、ほどよい辛さ かねふく

これは旨いツマミです.パッケージを開けた時の香りがエセ明太子な感じで美味しそうです. ジャガイモ味も良くあってます.かなりワインに合います.原材料名は,「じゃがいも(遺伝子組換えでない)」,「デキストリン」,「たんぱく加水分解物(豚肉・鶏肉…

Calbee ポテトチップス 小梅味

普通に食べると,梅の酸味とジャガイモの味で丁度良い感じなのですが,白ワインのツマミにすると,酸味×酸味で酸っぱすぎました...原材料名は,「じゃがいも(遺伝子組換えでない)」,「植物油」,「食塩」,「砂糖」,「梅肉パウダー(紀州産梅100%使…

Apache Spark: 凄まじい性能はミスると一瞬で身を滅ぼす(手が滑った話)

昔から,超重要なシステムを使っていても,つい手を滑らせることがあるんですよね... 今日は,Hadoopクラスタを一瞬で枯渇させてしまいました.Hadoopクラスタの全てのマシンで,特にハードディスクのQuotaの設定はしていませんでした.定期的な監視は入…