航空科学博物館

成田空港のすぐ隣にある航空科学博物館に行ってきました。

レストランでは、機内食風のご飯を食べることができます。
味はそこそこ美味しい。
展望レストランからは、離着陸する飛行機をすぐ近くで見ることができるので、子供は大喜び。

体験コーナーは、子供用のフライトシミュレーターから、本格的なものまでありました。
予約がすぐ埋まるので、到着後すぐに予約をする方がいいかと思います。

北海道木古内町のふるさと納税

北海道木古内町のふるさと納税
https://www.furusato-tax.jp/city/info/01334

世界の果てまでイッテQ！を観ていたら、
はこだて和牛コロッケとみそぎの舞
を猛烈にアピールしていて、面白かった。

鈴木慎也（北海道木古内町長）
https://twitter.com/4DUAcwLJ8thAEGt

今度、北海道木古内町にふるさと納税をしたいと思います。

統計学Ⅲ:多変量データ解析法

統計学Ⅲ:多変量データ解析法
https://lms.gacco.org/courses/course-v1:gacco+ga082+2021_01/about

統計検定2級程度の知識が学習できる講座（しかも無料）です。

対面授業ではないので、質疑応答ができないなどあるのですが、無料でここまで学習できるというのは良いかと思います。
各学習の最後に用意されているテストは、なかなか良い問題。
本当にわかっていないと解けない問題なので、そのあたりにいるデータサイエンティストっぽい人だと間違えると思います。

しっかりと基礎をつけたいと言う人向けの講座ですね。

ビジネススキルの高い課題解決型データサイエンス人材の育成

ビジネススキルの高い課題解決型データサイエンス人材の育成
https://techplay.jp/event/805013

アスクルのデータを使ったコンテストが行われ、その発表会があるみたいです。
申し込んだ時点で、若干、席に余裕がありました。

オンラインでやってくれるのはありがたいですね。

日本行動計量学会、状態空間モデルの講義

日本行動計量学会、状態空間モデルの講義

第23回春の合宿セミナー
http://www.mayomi.org/bsj/spring23.html

時系列関連のセミナーはよく見かけますが、状態空間モデルを2日間というのはなかなか見ない。

コロナの影響でこのセミナーもオンラインで開催。
土日なので、ちょっと微妙なのですが、自分最近、状態空間モデルを使ったモデリングをする様になったので、参加したいと思います。

【R】ロジスティック回帰をした後の混同行列の出し方

統計の講師をしていて、なるほど！と思う質問を受けることがあります。
せっかくなので、その中からピックアップして紹介できればと思います。

【質問】
ロジスティック回帰をした後、確率（予測）は出せるのですが、混同行列の出し方がわかりません。

【回答】
# ロジスティック回帰モデルを作成
# model.1 <- glm(y ~ x1 + x2, data=dat)

# 予測確率
glm_predict <- predict(model.1, type = "response")

ここまでは、簡単に出せるかと思います。
type = "response"
のオプションは忘れがちなので注意が必要です。

z = b0 + b1*x1 + b2 *x2 + … + bn*xn + ε
y = 1/(1+exp(-z))
とした時に、
predict(model.1, type = "response")
は、y（確率）を計算します。

predict(model.1)
は、zの値となります。

# 予測確率を予測値に変換（確率を0,1に変換）
predict_result <- as.numeric(glm_predict >= 0.5)

# 混同行列
# y: 実際の値
# predict_result: 予測値
xtabs(~y+predict_result, data=dat)

↑
こちらを使うことで、混同行列を計算することができます。
閾値として、0.5を設定しており、0.5以上だと1と予測し、0.5未満だと0と予測します。

MacにBigQueryAPIクライアントライブラリをインストール 〜その1pipのインストール

最初でつまづいたところ。
「zsh: command not found: pip」が出てきてしまった。

macにpipをインストールする方法
$ sudo easy_install pip
↑
こちらでインストールが完了。

きちんとインストールされているかの確認

$ which pip
/usr/local/bin/pip

無事にインストールできていました。

MacにBigQueryAPIクライアントライブラリをインストール 〜その2 Pythonの環境構築

すぐにPythonを触ってみたいという場合は、Colaboratory（略称:Colab）がおすすめ。

Colaboratory へようこそ
https://colab.research.google.com/notebooks/intro.ipynb

Google Drive内に .ipynb という拡張子でColabノートブックが作成できます。

例えば、
seconds_in_a_day = 24 * 60 * 60
seconds_in_a_day
と打つと、計算実行してくれます。
Macの場合は、↑（Shift）+Enterで実行となります。

Googleスプレッドシートと同じ感覚で、変更がリアルタイムに伝わるので、同じnotebookを2台の端末でみるとペアプログラミングできます。
これはかなり便利！

MacにBigQueryAPIクライアントライブラリをインストール その3 PythonのBigQuery連携ライブラリを使う

Colaboratoryの準備ができたら、後は、BigQueryからデータを持ってきて分析するだけですが、これも簡単にもってこれます。

query = """
select
id
, date(created , 'Asia/Tokyo') as created_date
, price
from `*****.*****`
where date(created , 'Asia/Tokyo') between '2021-01-01' and '2021-01-07'
;
"""

import pandas as pd
data_frame = pd.read_gbq(query, 'project-id')

↑
このようにクエリを書いて、pd.read_gbqすると、Googleの認証画面が出てくるので、そこで認証が完了するとBigQueryからデータを持ってこれました。

簡単に始めるならこの方法が楽ですね。

推論の誤差幅

ビジネススキルの高い課題解決型データサイエンス人材の育成
https://techplay.jp/event/805013

こちらのイベントに参加してきました。

アスクルのデータを使ったデータ解析コンペみたいなものです。
2チームだけの発表でしたが、どちらのチームも時間がない中で、最大限のアウトプットが出せていた様に感じます。

樋口先生のコメントを聞いていて感じたのは、
「何かを予測する時に点推定するのではなく、幅を持って推定する」

実際に、事業の中で分析をしていても、MLを使ったり、単に集計したりで点推定しか出てこない場合があるのですが、マーケティングの人が使う場面において、少なくともこれくらい効果がありそう、あるいは、コストは上ぶれてもこれくらいだろう、といった指標があると助かります。

この辺りの幅を持った統計量は、統計モデル（ベイズモデル）ならではのアプローチかと思います。

パス解析というマジックワード

【質問】
パス解析をする際に、1,0のバイナリデータを使っても問題ないでしょうか？

【回答】
説明変数に1,0のバイナリデータ（二項データ）がある場合は、特に問題なりませんが、目的変数部分にバイナリデータがあると統計的にはまずい。

通常、目的変数が正規分布しているときは、線形回帰分析を使います。
目的変数が、1,0のバイナリデータ（二項データ）の場合は、ロジスティック回帰分析を使います。
というのは、1,0のバイナリデータの場合、yの値が負の値をとったり、1超の値をとったりすることはないから。

おそらくこの部分で間違える人はいないのですが、パス解析という、なんだかなんでもよしなにやってくれそうな手法になると、このあたりのことを忘れてしまう人がいる様です。

パス解析は、複数の回帰モデルを同時に最尤推定するというものなので、個々に見れば、回帰分析をしていることがわかるかと思います。

では、実際には、目的変数が1,0のバイナリデータである場合、どうすれば良いか？
(1) そのままパス解析をする
(2) 同時推定ではなく、個々に回帰モデル（線形回帰やロジスティック回帰）を適用する
(3) 同時推定する尤度関数を書いて、それを最適化する
が考えられます。

(1)は、分析ソフトを使えば、それっぽい結果は出てくるものの、統計的にはNG。
(2)実践的には、こちらでOKっぽい。
(3)尤度関数を書ける人は、こちらで最尤推定するのがベスト。

ということで、まとめると
(1) <<< (2) < (3)
となります。

〜追記〜
MPLUSというソフトは、二値データの共分散構造分析（SEM）にも対応しているので、お金がある人は、"(4) MPLUSを買う" という選択肢もありです。

MacにBigQueryAPIクライアントライブラリをインストール その4 pandas-gbqをインストールする

Colaboratory を使用するのではなく、ローカルPCにjupyter notebookを入れてBigQueryと連携しました。

pandas-gbqが入っているか確認。

$ pip list --format=columns | grep -i pandas
pandas                             1.1.3

pandas-gbqの表示が出てこないので、pandas-gbqをインストールする必要があります。

# インストール
$ pip install pandas-gbq -U

# 確認
$ pip list --format=columns | grep -i pandas
pandas                             1.1.3
pandas-gbq                         0.14.1

今度はpandas-gbqがインストールされていることが確認できました。
後は、テーブルを読み込むだけです。

# pandasをインポート
import pandas as pd
data_frame = pd.read_gbq(query, 'project-id')

【R】エラー：is not writable Warning in install.packages

統計の講師をしていて、なるほど！と思う質問を受けることがあります。
せっかくなので、その中からピックアップして紹介できればと思います。

【質問】
libraryをインストールする時に、この様なエラーがでました。
どうすれば良いでしょうか？

'lib = "C:/Program Files/R/R-4.0.3/library"' is not writable Warning in install.packages :

【回答】
上記の情報から分かるのが、Windowsユーザということです。
また、書き込み権限がないので、バッケージのインストールができない、という警告になっています。
これは、R、もしくは、RStudioが一般ユーザとして動いており、管理者権限がない場合、パッケージをインストールするフォルダに書き込み権限がないというのが原因です。

回避方法として、一般ユーザではなく、管理者として、起動すれば解決できます。
R、もしくは、RStudioのアイコンを右クリックしてプロパティを開き、互換性タブの管理者として実行、にチェックをつけておくと良いです。

Rの場所ですが、Windows 64ビットマシンでインストールしている場合、多くの場合は下記にあります。
C:/Program Files/R/R-4.0.3/bin/x64/rgui.exe

SAKE HALL HIBIYA BAR

SAKE HALL HIBIYA BAR
http://www.hibiya-bar.com/sakehall/

緊急事態宣言中ということもあり、お酒の提供は7時まで。
食事の提供は7時半まで。
少し早めに飲みに行く必要があります。

金曜日の夜でしたが、店内はガラガラでした。

日本酒をベースにしたバー。
料理もそこそこ美味しい。
日本酒なので飲み過ぎに注意です。w

学生なら無料で使えるSASの統計ソフト

「sas university edition」で検索すると、学生なら無料で使えるSASのページが出てきます。

Free Statistical Software, SAS University Edition
https://www.sas.com/ja_jp/software/university-edition.html

一昔前は、SPSSが積極的に学生をターゲットに格安（無料？）でソフトウェアを提供していたイメージがありましたが、SASも無料で使えるっぽいです。

自分も学生なので、使ってみたい気持ちも山々ですが、今は、ちょっと忙しいので、落ち着いたらチャレンジしてみたいです。
今年、自分のスキルで伸ばしたい部分としては、Python、英語力、また、論文を書きたい。