Wednesday, February 10, 2010

検索結果のロング・テール

[this post is a translation of "the long tail of search results" written by Pascal Hideki Hamonic.]


ロング・テール:"全アイテムの20%は全結果の80%を占めている"。
(ロング・テールをご存知ない方はwikiを参考してくださいませ。)

問題:"私は個人的なニーズを持っており、ロング・テールの右手に遠く離れている特殊なアイテムに興味を持っております。どうすれば検索できますか?"

まあ、世界のデジタル化を行うしかありません。
デジタル化することによって、ロング・テールの残りの80%に及ぶことが出来るようになります。
Amazon.comの場合はそうですが、ウォルマートの場合はそうではありません。物理的な制限があり、店内に全ての商品を置くことが出来せん。

従って、デジタル化によって、消費者は、個人的に好きな商品を簡単に手に入れることができます。
しかし、一つの条件があります:それらのアイテムを検索できる必要があります。

もう既にご存じかもしれませんが、物を検索するには2つの方法があります。

1)サーチバー
2)推薦エンジン

1)と2)、それぞれの長所及び短所を分析していきましょう。

探している物の名前を知っているのであれば、サーチバーは素晴らしい道具かと思います。言い換えれば、フェッチドッグとして利用します。つまり、アイテムのIDを指定して、そのアイテムを「持って来い!」という命令を検索エンジンに出せば良いのです。
例えば、『2001年宇宙の旅』という映画をAmazon.comで探していると仮定しましょう。サーチバーに「2001年宇宙の旅」という文字列を入力し、データベースの中に存在さえしていれば直ぐに画面に表示されます。

しかし、探している物の名前が不明だったらどうすれば良いのでしょうか?
その場合は、適合確率原理に基づきます。(推定された適合確率がユーザーにとっての最高の検索結果になるという原理)
探している商品に関する基準をサーチバーに入力し、情報検索システムはそれらの基準に最も適合している結果を先に出します。
人気度、アイテムの投稿日付、顧客の評価などによってランク付けを行います。
グーグル社だって同じ原理を使っています。但し、ページランクはリンク型データベースに適用します。

しかし、ここですぐ問題点が見えてきます。出されてくる結果はあくまでも人気度の高い結果で、つまり、全結果の8割だけです。その全結果の8割は全商品の2割に該当しています。従って、特定の商品に及ばず終わってしまいます。
結局、サーチバーでは自分だけに合った基準に合っている結果を出すことが出来ません。自分だけが探しているものを簡単に見つけ出すことが出来ません。
つまり、サーチバーだけでは本格的なカスタマイズ・サーチは出来ません。

そこで、推薦エンジンの良さが見えてきます。ロング・テールの右手にある遠く離れているアイテムを提案してくれます。しかも利用者には何も要求されません。
推薦されてきた商品を目で閲覧して、脳の持っている視覚情報に関するパターン認識の素晴らしい能力に基づき好きな物を選んでいけば良いのです。
しかし、なぜその商品を推薦されたのかはよく分かりません。把握するための道具は提供されません。その裏づけはありません。
もしかしてランダムな推薦かも知れませんと時々思ったりもします。

要点を繰り返しましょう:私が決めた基準で私に合っている商品だけを探しています。しかし、それらの商品の名前を知りません。
サーチバーのパラダイムでは、その基準を制御出来ますが、結果には未知の物が含まれません。
推薦エンジンのパラダイムでは、未知の商品を見つけ出してくれますが、探している基準は把握されません。

従って、入力される基準を把握するのみならず、未だ知らないアイテムを多く探してくれる情報検索システムを作り出すべきかと思います。
ユーザーは自分自身の基準を満たす新製品を発見したいものですから。

解決策の提案:ユーザーにより多くのキーワードを入力してもらうこと、つまり、より多くの情報を入力してもらうこと。

可能かと思いますが、二つの問題点がすぐに見えてきますね:

あ) まずは、現在の検索エンジンは沢山のキーワードの処理が困難です:ブール演算子に頼ると、入力キーワード数は平均で2.1だけです。より多くのキーワードを入れると結果の品質が悪化してしまいます。


い) そして、ユー

ザーにとって沢山のキーワードを入れるのが面倒くさいです:人間の脳は物を認識する能力が優れているのですが、物を思い出す能力が劣っています。

我々はアスコット・プロジェクトでは、両方の問題に対する解決法を見つけ出したかと思います。

最近では情報検索に関する特許に申請しました。 2つの重要な要素から成り立っています:概念入力と索引語推薦

実際、

あ)は、概念を処理することができる検索エンジンを作成することによって解決することができます。


い)は、関連する索引語や概念を推薦することができる検索エンジンを作成することによって解決することができます。

乞うご期待!因みにVCの方に連絡を取っております。。。

2 comments:

  1. 素晴らしい!サーチバーのパラダイムシフトですね。
    探したいWORD とスペースを3つ以上入れると何にも検索されず。。
    困ったことが数知れずあります。

    早い段階での実現を強く望みます!

    ReplyDelete
  2. これから意味論的情報検索に向けて頑張りたいと思います。

    ReplyDelete