SSブログ

検索キーワードモデリング [データサイエンス、統計モデル]

検索キーワードモデリング

検索されたキーワードを分類するのは難しい。

エリアとか、ブランド名とかの分類する辞書を作って、分類するのだが、
分類する辞書のカテゴリが数十を超える場合、掛け合わせを考えると組み合わせの爆発が起きてしまう。
さらに、完全一致ではなく、部分一致の処理を考えないといけない。

また、実際の運用を考えたときに、自動でお手軽に?運用できる方が良いだろう。

これらの用件を取り込んで第一バージョンを作ったのだが、組み合わせの爆発により処理が完成するのに約1日。
計算時間が1日でも悪くないのだが、自動で誰でも使えるというものはできなかった。。。
(*´д`*)

実装は、クレメンタイン。
VMSを使っても、そんなに差はないだろう。

こういう場合は、寝て頭を整理するとよく、朝、目が覚めて !(・∀・) キター。
大幅にアルゴリズムを更新することで、30分くらいで計算が終了。
処理が50倍くらい早くなった感じです。

運用も、お手軽に自動でできるものができました。
プログラムは奥が深いですなぁ。


nice!(0) 
共通テーマ:仕事

nice! 0