Jubatus Recommenderの活用事例"住所マッチング"

Recommenderとは・・・？

Recommenderは「推薦」と呼ばれ、最も実用例が多い機械学習の機能です。
類似するデータの推薦や、データ中の同属性の推薦を行うことができます。
利用例・・・検索サイト連動広告、ECサイト商品おすすめ　など

※Jubatusとは・・・？
オンライン機械学習向け分散処理フレームワークJubatusのご紹介　をご覧ください

どうやって使うの？

Recommenderは、与えられたデータ(数値や文字列)から学習を行い、学習の結果として推薦を行います。
与えられたデータの類似度合いから、各レコードに最も似ている順に表示します。

例

Recommenderの活用例

異なる住所ポイントデータベースのマッチング

空間情報のメンテナンスでは、常に時間とともに変化する属性情報の整合確保の課題があります。データベースによって店舗名や住所に表記ゆれがある場合、これまでは人間の手によって「同じレコードである」という判断を行ってきました。
Recommenderを活用することで、住所と店舗名の二つのフィールドの類似度合いから「同一とみなす作業」を自動化します。これら数万件以上の属性情報をすべて人の目で判断するのではなく、確実にマッチする部分以外だけを人が判断し、機械学習が正しい結果を出した分だけを作業をスキップできることで、大幅な省力化に貢献できるはずです

Recommendarを使った住所マッチングの結果と課題

• 8割の確率で正しく関連付けできる
• 正しいと判断する閾値の基準を設定する必要がある
• フィールドの正規化によって結果が変わるかどうかの検証をする必要がある
• 正解データ、誤りデータを混入させた"検定"を実施する必要がある