Friday, September 11, 2009

Bayes is obsolete! - 旧式のベイズ!








[jp]

ベイズの定理についてちょっと語りましょう。

あれは、実際に、優れている部分って一切ありませんよ。

AとBという主張があるとするね。

ベイズが言っているのは、(A and B)は(B and A)と一緒だということです。

単純でしょう。

一例をあげましょう:

- A = "パスカルと申します。"
- B = "28歳です。"

年齢と名前、どっち先に言うべきかって唯の形の問題です。情報的には全く変わりません。

数学では、交換法則と言います。

だから、結局ベイズ定理って交換法則に過ぎません!

それなのに、ここ300年間という長い期間に於いて、ずっと使われてきて、しかも計算工学の研究員はものすごく信頼しています。

音声認識にも適用されているし、自然言語の統計的分析にも利用されているし、スパムフィルタリングもそうです。後は、情報検索でも。最近ではヤッフーがIDFの一般化に使ったみたいです。

なんでだろうね?それこそ、根強いミームだと思います。次のパラダイムを見つけ出すべきです。


=========

[en]

Just a thought on Bayes' theorem.

For me it just says that (A and B) is the same as (B and A),  A and B being statements.

Let's say that:

A= "My name is Pascal Hamonic."
B= "I am 28 years old."

It's just a matter of cosmetics that I put my name before my age or the other way around.In mathematics, we'd say that A and B commute.

So nothing extraordinary regarding Bayes' theorem. But it's widely used in computer science: speech recognition, natural language processing, spam-filtering.

I don't see the reason. Really.

And the results are not so great.

It's even used in information retrieval. In 2008, Yahoo! published a paper that explains how they generalize IDF using Bayes' theorem. That's lost in advance...

I think that the only reason why the scientific community trusts so much Bayes is related to memetics: the Bayes' theorem is just a powerful meme.

Bayes has to be blown away by another paradigm...

4 comments:

  1. A and B = B and A is NOT Bayes theorem! What are you talking about??

    ReplyDelete
  2. I know. But I believe right now that the most basic principle on which bayes' theorem is that identity.

    ReplyDelete
  3. Good article on the triviality of the Bayes Theorem;
    (I remind you that it only states that
    P(A/B)=P(B/A)*P(B)/P(A).)

    So, indeed, Pascal got the point right;
    The theorem can almost be reduced to stating that
    A and B = B and A ;

    Why?
    Well, let me demonstrate the Bayes theorem again then in 3 lines.

    1) As Bayes defined, I define:
    P(A/B)=P(A&B)/P(B)
    P(B/A)=P(B&A)/P(A)

    2) But A&B = B&A so P(A&B)=P(B&A)
    3) Then P(A/B)=P(B/A)*P(B)/P(A)

    So all it does is relying on the fact that A&B = B&A is true. Fine but naive...

    Well, maybe this is where the problem is...
    It may be true for the current capacity of our mind "macroscopically" but not in the future when we have "microscopic" resolution way more increased.

    ReplyDelete
  4. yes indeed.

    It s a fallacy of the mind or a laziness of the mind that does not want to go further or handle information at a more precise level.
    And by the way, Bayes was a reverend living in the 18th centuy in GB. Well it' s almost 300 years old....
    ---
    ああ、ジュリアン、証明したね。
    人間って結構怠け者だし、卒中過ちを起こして、訂正をしようとしない傾向にあるから、こういう結果になるとはそんなに驚く必要ないと思う。
    マクロな観点からはオッケーだけど、マイクロな観点だと駄目だ。
    つまり、それ以上情報を細かく観ないと進化出来ないと思う。

    因みに、ベイズって18世紀のイギリスに住んでいた神父様でした。まさに古いパラダイムだ。。。

    ReplyDelete