【IBM SPSS Modeler】HadoopとMapReduceの勉強 [Hadoop / Spark]
HadoopとMapReduceの勉強。
今まで、Hadoopという名前や概念は知っていましたが、具体的な処理の内容などは分かっていなかったです。
Intro to Hadoop and MapReduce
https://www.udacity.com/course/ud617
↑
このオンライン学習を見て、実際にコードを書いたり、仮想マシンでコードを動かしたりすると、なるほど、こういうことだったのか!とよく分かりました。
実際に手を動かしてみることってすごく大切ですよね。
あえて、mapper.py reducer.py をIBM SPSS Modelerで書いてみました。
もちろん、MapReduceということで、分散処理ではないですし、処理時間も遅いですが。。。
今まで、Hadoopという名前や概念は知っていましたが、具体的な処理の内容などは分かっていなかったです。
Intro to Hadoop and MapReduce
https://www.udacity.com/course/ud617
↑
このオンライン学習を見て、実際にコードを書いたり、仮想マシンでコードを動かしたりすると、なるほど、こういうことだったのか!とよく分かりました。
実際に手を動かしてみることってすごく大切ですよね。
あえて、mapper.py reducer.py をIBM SPSS Modelerで書いてみました。
もちろん、MapReduceということで、分散処理ではないですし、処理時間も遅いですが。。。