SSブログ

データサイエンティスト・ジャパン2015 [データサイエンス、統計モデル]

日経情報ストラテジーが主催する『データサイエンティスト・ジャパン2015』に行ってきました。

メインは、日本航空の渋谷さんと大阪ガスの河本さんの対談でした。
30分と短い時間でしたが、こんなことを話していました。

・組織の違い
JAL:チームとして明確な目標を持っている組織

大阪ガス:間接部門として割と自由に動いている組織

⇒ 両社に共通する部分は、「現場と一緒に分析を行う」こと。


・分析者にとって一番大切な事は?
渋谷さん:課題を解決したいと思う強い思いが大切

河本さん:データ分析は手段、ビジネスにつなげることが大切
  構想力(分析のストーリーの設計)
  愛社精神が原動力

nice!(33)  コメント(0)  トラックバック(0) 
共通テーマ:学問

【Hadoop MapReduce】最終課題に向けて [Hadoop / Spark]

Hadoopの勉強もだいぶ終盤に差し掛かっていて、いよいよ最終課題を残すのみとなりました。

Hadoopが難しいというよりかは、Python特有の癖みたいなのを把握するのに苦労しました。

SPSS Modeler(Clementine)でストリームを書くと1分くらいで書けちゃう処理を、MapReduceプログラムで書くと丸々二日かかったりと。。。

それが、急に視界が開けてきて、最近では、数十分程度で書けるようになってきました。
こういうプログラムって慣れるまでが大変ですね。。。

処理を比較したら、手元のデータが小さいこともあって、SPSS Modelerの処理とHadoopの処理があんまり変わらなかったです。
むしろコードを書く時間や可読性を考えたら、SPSS Modeler最高となるわけで…

これが、SPSS Modelerで処理できないくらいのボリュームになってくると、Hadoopの意味も出てくるのかもしれません。

nice!(29)  コメント(0)  トラックバック(0) 
共通テーマ:資格・学び

【Hadoop MapReduce】配列のコピーについて [Hadoop / Spark]

Hadoopのプログラムではなく、pythonの話。

思うような結果が得られなくて、原因を色々調べていたら、どうやら配列のコピーがおかしいことが解った。

配列のコピーをうっかり
 Array1 = Array0
と書いてしまったのだが、これだとArray0を操作したら、同時にArray1の値も変わってしまう。

コピーした後、Array0とArray1を別々に扱いたい場合は、
 from copy import deepcopy
 Array1 = deepcopy(Array0)
としてコピーをする必要がある。

nice!(23)  コメント(0)  トラックバック(0) 
共通テーマ:資格・学び

【Hadoop MapReduce】プログラムを学習するスタイル [Hadoop / Spark]

HadoopのMapReduce、Pythonの考え方やプログラムを一通り学んだ後、以前買ったPython入門の本をパラパラ眺めてみた。

本を買った当初は、なるほど、と新しく覚えることがいっぱいだったのだが、改めて見てみると、ほとんど既知の知識になっていて、改めてここ1か月くらいで、ここまでスキルが向上したんだな、と感じました。

学習するスタイルとして、計算結果を書く解答の枠があるのだが、ほぼ0から自分でプログラムを書いていきます。
また、解答を書いた後も、正解のプログラムコードもなく、これで良いんだっけ?と不安な状態で最後でやり続ける必要がありました。

結果、そういう野放し状態の中で、自分独りで作り上げるしかない状況に追い込まれることが大切なのかな、って思います。

データ解析などを教えていた時も、野放し状態で放置した人と、割と手取り足取り教えた人の成長を見た時に、結果すごく伸びたなって思う人は、ほぼ野放し状態で自由に考えてもらった人でした。

もちろん、平均的な人を育成する上では、後者の方がリスクもないし、成長できる人も多いと思います。
放置プレーの場合、伸びる人は伸びるけど、挫折する人をどうフォローしていくか、ということも考えていかないといけませんが・・・。


Hadoop徹底入門 第2版

Hadoop徹底入門 第2版

  • 出版社/メーカー: 翔泳社
  • 発売日: 2013/07/08
  • メディア: Kindle版



nice!(41)  コメント(0)  トラックバック(0) 
共通テーマ:資格・学び

VenusFort(ヴィーナスフォート)の駐車場 [自動車 / バイク]

金曜日に、早く仕事を終えて、ディズニーランドに行こうかと思ったのだが、来週にもディズニーランドに行くっぽいので、今週や辞めることに。

変わりに、引っ越しを控えているのでお台場に行ってきました。
土日は混んでいる駐車場も平日だと、ガラガラ。

VenusFort(ヴィーナスフォート)の駐車場に止めましたが、上限設定あるので安心してゆっくり買い物ができます。

・買い物なし
上限1,500円

・合計¥3,000(税込)以上のレシートで1時間まで無料
上限1,000円

・合計¥5,000(税込)以上のレシートで2時間まで無料
上限500円

・合計¥10,000(税込)以上のレシートで終日無料

1万円も買い物することはないので、食事とちょっとした買い物で5,000円くらい行くだろう、と思っていたら8,000円でした。
ちょうど2時間過ぎてしまったのと、置き時計が欲しかったので、追加で2,000円分の買い物をして終日無料になりました。

nice!(3)  コメント(0)  トラックバック(0) 
共通テーマ:自動車

ピッツェリア ピッキ 門前仲町店(PIZZERIA PICCHI) [グルメ / クッキング]

ピッツェリア ピッキ 門前仲町店(PIZZERIA PICCHI)
http://tabelog.com/tokyo/A1313/A131303/13146648/

門前仲町、木場駅周辺で、激ウマのピザ屋さんといえば、ここ。
ピザだけでなく、パスタとか、他の料理も美味しいです。

テーブルワインもお手頃価格です。

息子もここのピザが気に入ったようで、次の日も「昨日行ったピザ屋に行きたい。」って言っていました。

nice!(4)  コメント(0)  トラックバック(0) 
共通テーマ:グルメ・料理

サカイ引越センターとダック引越センター [住宅・インテリア]

前回はサカイ引越センターで、今回はダック引越センターでした。
どちらも、値切るとかなりまけてくれるのですが、ダックの方がやや値段は安め。

ただ、質はサカイさんの方がはるかに良かったです。

ダックの場合は、社員1名にバイトがズラズラ付いてきます。
運ぶ際に、段ボールをボロボロこぼしたり、引きずったりして、荒っぽい。

また、冷蔵庫やベッドなどの搬入も手際が悪く、解体するのにすごい時間がかかったり、搬入経路も見積もりが甘く、イラッっとしました。

ちょうど同じ時期に引っ越した人は、サカイさんにお願いしたらしく、やはり質は高かったと言っていました。

次回、引っ越すことがあったら、サカイさんにお願いしようかな。。。

nice!(7)  コメント(0)  トラックバック(0) 
共通テーマ:住宅

BABY TOKEI × ラヴィ・ファクトリー [ファミリー]

キッズ時計、いつもは息子が選ばれることが多かったですが、今回は娘の方が選ばれました。

撮影場所は、横浜にある「小さな結婚式」にあるフォトスタジオです。

息子の方は写真慣れしているのですが、娘の方はちょっと表情が硬い。
この辺りはカメラマンとの相性もあるのかもしれませんね。

そんな中であの手この手を使い表情を引き出し、一瞬の変化をカメラが捉えます。
子供の撮影って大変だな、って改めても思いました。



続きを読む


nice!(28)  コメント(0)  トラックバック(0) 
共通テーマ:育児

最新盤! TVサイズ ウルトラマン主題歌集 [ウルトラマン]

『初代ウルトラマン』から『新ウルトラマン列伝』までの主題歌(テレビサイズ)の主題歌がずらっと入ったCDです。
昔のウルトラマンの歌ってなかなか手に入り難いので貴重ですね。


最新盤! TVサイズ ウルトラマン主題歌集

最新盤! TVサイズ ウルトラマン主題歌集

  • アーティスト:
  • 出版社/メーカー: 日本コロムビア
  • 発売日: 2015/03/11
  • メディア: CD



1. ウルトラマンビクトリーの歌2015 [TVサイズ] (『新ウルトラマン列伝』)
2. ウルトラマンギンガの歌2015 [TVサイズ] (『新ウルトラマン列伝』)
3. 英雄の詩 [TVサイズ] (『新ウルトラマン列伝』)
4. キラメク未来~夢の銀河へ~ [TVサイズ] (『新ウルトラマン列伝』)
5. ULTRA BRAVE [TVサイズ] (『新ウルトラマン列伝』)
6. Legend of Galaxy ~銀河の覇者 [TVサイズ] (『新ウルトラマン列伝』)
7. Starlight [TVサイズ] (『新ウルトラマン列伝』)
8. FINAL WARS [TVサイズ] (『ウルトラマン列伝』)
9. ULTRA FLY [TVサイズ] (『ウルトラマン列伝』)
10. ULTRA STEEL [TVサイズ] (『ウルトラマン列伝』)
11. Rising High [TVサイズ] (『ウルトラマン列伝』)
12. DREAM FIGHTER [TVサイズ] (『ウルトラマン列伝』)
13. キラメク未来 [TVサイズ] (『ウルトラマン列伝』)
14. ウルトラマンメビウス [メインタイトル+TVサイズ] (『ウルトラマンメビウス』)
15. ウルトラマンマックス [メインタイトル+TVサイズ] (『ウルトラマンマックス』)
16. 英雄 [フルサイズ] (『ウルトラマンネクサス』)
17. 青い果実 [フルサイズ] (『ウルトラマンネクサス』)
18. Spirit [M51+TVサイズ] (『ウルトラマンコスモス』)
19. ウルトラマンコスモス~君にできるなにか [TVサイズ] (『ウルトラマンコスモス』)
20. 心の絆 [TVサイズ] (『ウルトラマンコスモス』)
21. ウルトラマンガイア! [TVサイズ] (『ウルトラマンガイア』)
22. Lovin’ You Lovin’ Me [TVサイズ] (『ウルトラマンガイア』)
23. Beat on Dream on [TVサイズ] (『ウルトラマンガイア』)
24. ウルトラマンダイナ [TVサイズ] (『ウルトラマンダイナ』)
25. 君だけを守りたい [TVサイズ] (『ウルトラマンダイナ』)
26. ULTRA HIGH [TVサイズ] (『ウルトラマンダイナ』)
27. Brave Love, TIGA [TVサイズ] (『ウルトラマンティガ』)
28. ウルトラマン80 [M70+TVサイズ] (『ウルトラマン80』)
29. レッツ・ゴー・UGM [TVサイズ] (『ウルトラマン80』)
30. がんばれウルトラマン80 [M51+TVサイズ] (『ウルトラマン80』)
31. 地球人だよ [TVサイズ] (『ウルトラマン80』)
32. ザ・ウルトラマン [TVサイズ] (『ザ☆ウルトラマン』)
33. 愛の勇者たち [TVサイズ] (『ザ☆ウルトラマン』)
34. ウルトラマンレオ [オープニングT2&叫び+TVサイズ] (『ウルトラマンレオ』)
35. 戦え!ウルトラマンレオ [オープニングT2&叫び+TVサイズ] (『ウルトラマンレオ』)
36. ウルトラマンタロウ [メインタイトル+TVサイズ] (『ウルトラマンタロウ』)
37. ウルトラマンエース [オープニングT6+TVサイズ] (『ウルトラマンA』)
38. 帰ってきたウルトラマン [M63+TVサイズ] (『帰ってきたウルトラマン』)
39. ウルトラセブンの歌 [メインタイトル+TVサイズ] (『ウルトラセブン』)
40. ウルトラマンの歌 [メインタイトル+TVサイズ] (『ウルトラマン』)
41. メインテーマ [M1-T2+M2-T2] (『ウルトラQ』) -ボーナストラック-
42. ウルトラマンパワード [ビデオサイズ] (『ウルトラマンパワード』) -ボーナストラック-
43. ぼくらのグレート [ビデオサイズ] (『ウルトラマンG』) -ボーナストラック-
44. 僕たちのヒーロー [TVサイズ] (『ウルトラマンボーイのウルころ』) -ボーナストラック-
45. eternal traveller [TVサイズ] (『ウルトラギャラクシー 大怪獣バトル』) -ボーナストラック-
46. 誓い [TVサイズ] (『ウルトラギャラクシー大怪獣バトル NEVER ENDING ODYSSEY』) -ボーナストラック-
47. ウルトラマンビクトリーの歌2015~ウルトラマンギンガの歌2015 -ボーナストラック-

nice!(9)  コメント(0)  トラックバック(0) 
共通テーマ:キャラクター

怪獣酒場 (Y)o\o(Y) 閉店? [ウルトラマン]

怪獣酒場が後1週間で閉店するらしい。
最後に、もう1回行ってみたい。

3月27日(金)・28日(土)
ウルトラマンレオ・アストラ

3月29日(日)
ウルトラの父・ウルトラの母

3月31日(火)
ウルトラマン・バルタン店長

「元祖怪獣酒場」(大阪市・難波)開店のお知らせ!!


怪獣酒場
http://www.kaiju-sakaba.com/

元祖怪獣酒場
http://ganso-kaiju-sakaba.com/

■「元祖怪獣酒場」店舗情報
店舗所在地
 〒542-0075
  大阪府大阪市中央区難波千日前11-6
   なんばグランド花月1F
営業時間:11:00~24:00 ※予定
オープン日:2015年4月下旬予定

nice!(37)  コメント(0)  トラックバック(0) 
共通テーマ:キャラクター

キッズ時計 京王フローラルガーデン アンジェ [ファミリー]

前回、ここで撮影してきたのだが、写真のデータが届きました。

京王フローラルガーデン アンジェ
http://skellington.blog.so-net.ne.jp/2015-02-23

初めての野外での撮影でした。
もう少し花が咲いていると良かったかもしれませんが、こうしてみるとなかなか良い感じですね。

キッズ時計の公開は、2015年4月15日(水)からみたいです。



続きを読む


nice!(39)  コメント(0)  トラックバック(0) 
共通テーマ:育児

ウルトラヒーローズ THE LIVE アクロバトル クロニクル [ウルトラマン]

『ウルトラヒーローズ THE LIVE アクロバトル クロニクル』に行ってきました。
場所は、天王洲にある銀河劇場という場所です。

3Dプロジェクションマッピングなど、最先端の技術を使った新感覚の舞台とのことで、楽しみにしていましたが、、、
全てがちょっと微妙でした。。。

・怪獣の背中が破れている
激しいアクションのせいなのか、ファスナーが壊れておりました…

・器械体操とのコラボ
器械体操している間に、怪獣がやられるというちょっと???って感じでした。
まさしく新感覚の戦い方です。

・ストーリーに凝り過ぎているのか、場面があちこち飛びます。
大人は付いて行けるのですが、子どもは難しいかと。
もっと単純なストーリーの方が良かったのでは?と思いました。

・腕に付けるブレスレット
ライブとコラボして色が変わったりするのですが、しょっちゅうピコピコ色が付いているので、いつ使うのか、こちらも不明でした。

全体的に、すっごく中途半端感が満載で、普通のウルフェスの方が面白かったかな、、、というのが素直な感想です。

nice!(6)  コメント(0)  トラックバック(0) 
共通テーマ:キャラクター

怪獣酒場、長蛇の列 [ウルトラマン]

怪獣酒場
http://www.kaiju-sakaba.com/

『ウルトラヒーローズ THE LIVE アクロバトル クロニクル』を観た後に、川崎まで移動して『怪獣酒場』に行ってきました。

もうすぐ一時閉店ですしね。

すると、すっごい長蛇の列で、入るまでに3, 4時間かかるとのこと!
えぇ~~~。

春飛自身も、撤退することを知っているみたいで、どうしても今日行きたいって。
また、大阪でできるみたいだから、となんとか説得し、あきらめることが出来ました。

もうちょっと近くにあると、行きやすいんですけどね…

nice!(6)  コメント(0)  トラックバック(0) 
共通テーマ:キャラクター

年間パスポートの予約購入 [Disney / ディズニー]

東京ディズニーリゾートが2015年4月1日から値上げです。
1デーパス: 6,400円 → 6,900円
単パス:53,000円 → 59,000円
共通パス:82,000円 → 86,000円
駐車場:2,000円 → 平日2,500円、土日祝3,000円

ただ、少しパスポートの期限が残っているのでどうしようかと思っていたら、
年間パスポートを予約購入できるとか。

年間パスポートの引換券は6か月有効なので、3月31日まで買っていれば、値上げ前の価格で買えます。
さっそく、年パスを予約購入しようと思ったら、2時間待ち!
さらに、写真撮影を入れると1時間待ちで、合計3時間!
アトラクションに並ぶ感覚です。

さすがに、3時間も待ってられないので、平日にもう一度行くことにしました。

nice!(33)  コメント(0)  トラックバック(0) 
共通テーマ:日記・雑感

IBM SPSS Modeler 異なるデータソースの結合でプッシュバックが切れる?切れない? [データサイエンス、統計モデル]

データベース(Netezza)に3つのデータソース(a, b, c)があったとします。

データソースaの中に購買履歴があり、
データソースbの中に顧客表があり、
データソースcの中に閲覧履歴があったとします。
※ cは、結合と関係ないデータソース

今、購買履歴の顧客CDとの顧客表の顧客CDで表を結合することを考えます。

IBM SPSS Modeler(旧称:Clementine)でストリームを作ると、このようになります。



同じデータベースなのですが、異なるデータソースの結合になるため、プッシュバックが効かずに、購買履歴の全件データと顧客表の全件データを、ローカルマシンに持ってきて、そこで結合しようとします。

つまり、大量のデータをデータベースから取得するので、データベース側に負荷がかかりますし、ローカルPCにも負荷がかかってしまいます。

これまでは、異なるデータソースの結合はプッシュバックが切れてしまって仕方がないものだと思っていました。
実は、IBMのサポートにメールしても同じような答えが返ってきました。

が!実は、プッシュバックが切れないことが解りました。w

SQLのインプットノードでSQLクエリー(Q)を選択し、直接SQLを書きます。



SELECT * FROM a..購買履歴 x1 INNER JOIN b..顧客表 x2 ON x1.key_id = x2.key_id


ちなみに、データソースは、何も選択しないとエラーが起きるのですが、適当に何かのデータソースを選択していれば、OKです。
今回の場合、aでもbかまいません。
さらにいえば、結合と全く関係ないデータソースcを選択しても大丈夫そうです。

nice!(39)  コメント(0)  トラックバック(0) 
共通テーマ:学問