wywiad z permutacją i kombinacjami

Eliezer Yudkowsky ma (naprawdę, naprawdę długie, ale Dobre) Wyjaśnienie twierdzenia Bayesa. O 70% mniej, jest akapit zaczynający się "przed tobą jest bookbag", który wyjaśnia sedno tego problemu.

Puenta polega na tym, że liczy się tylko różnica pomiędzy ilością wylosowanych czerwonych i białych Bil. Tak więc, wbrew temu, co mówili inni, nie musisz wykonywać żadnych obliczeń. (To sprawia, że jeden z rozsądne założenia (a), że kulki są wyciągane z wymianą, lub (b) urna ma partię piłek. Wtedy liczba piłek nie ma znaczenia.) Oto argument:

Przypomnij twierdzenie Bayesa: P(A|B) = P(B|A) * P (A) / P(B). (Uwaga na terminologię: P(a) to przed, A P (A|B) to tylna. B to twoja obserwacja, a terminologia odzwierciedla Twoją pewność siebie przed i Po Twoją obserwację.) Ta forma twierdzenie jest w porządku, a @bobince i @ Adam Rosenfield poprawnie zastosowali. Jednak użycie tej formy bezpośrednio sprawia, że jesteś podatny na błędy arytmetyczne i tak naprawdę nie przekazuje serca twierdzenia Bayesa. Adam wspomniał w swoim poście (i wspomniałem wyżej), że liczy się tylko różnica między ilością wylosowanych bil czerwonych i białych, bo "wszystko inne anuluje się w równaniach". Jak możemy to zobaczyć bez żadnych obliczeń?

Możemy użyć pojęcia iloraz szans i iloraz prawdopodobieństwa. Co to jest stosunek kursów? Cóż, zamiast myśleć o P (A) I P (A), pomyślimy o ich stosunku P(A): P (a). Jedno z nich można odzyskać od drugiego, ale arytmetyka działa ładniej ze współczynnikami kursów, ponieważ nie musimy normalizować. Ponadto łatwiej jest "uzyskać" twierdzenie Bayesa w jego alternatywnej formie.

Jak to nie musimy normalizować i jaka jest forma alternatywna? Cóż, Policzmy. Twierdzenie Bayesa mówi, że kurs tylny

P(A|B) : P(A|B) = (P(B|A) * P (A) / P (B)): (P(B|A) * P(A) / P (B)).

P(B) jest czynnikiem normalizującym, aby Prawdopodobieństwo wynosiło jeden; jednak pracujemy z współczynnikami, w których Kursy 2 : 1 i 4 : 2 są takie same, więc P(B) anuluje. Pozostaje nam proste wyrażenie, które zdarza się factorowi:

P(A|B) : P(A|B) = (P(B|A) * P(A)) : (P(B|A) * P(A)) = (P (B|A): P (B|A)) * (P (A) : P (A))

Słyszeliśmy już o drugim terminie, jest to wcześniejszy stosunek kursów. Co to jest P (B|A) : P(B / a)? To się nazywa współczynnik prawdopodobieństwa . Więc nasze ostateczne wyrażenie to

Kurs Tylny = współczynnik prawdopodobieństwa * kursy wcześniejsze.

Jak to zastosować w tej sytuacji? Załóżmy, że mamy jakieś wcześniejsze kursy x: y dla zawartości urny, z X reprezentującym 2 / 3rds czerwony i y reprezentującym 2 / 3rds biały. Załóżmy, że narysujemy pojedynczy czerwona kula. Współczynnik prawdopodobieństwa wynosi P(narysowana czerwona kula | urna to 2/3rds red) : P (narysowana czerwona kula | urna to 2/3rds white) = (2/3) : (1/3) = 2 : 1. Tak więc kurs tylny wynosi 2x: y; gdybyśmy wylosowali białą bilę, kurs tylny wynosiłby x: 2y według podobnego rozumowania. Teraz robimy to dla każdej piłki w kolejności; jeśli remisy są niezależne, to po prostu pomnożymy wszystkie współczynniki kursów. Otrzymujemy to, jeśli zaczniemy od stosunku kursów X: y i narysujemy r czerwone kulki i w białe kulki, otrzymujemy ostateczny stosunek kursów

(x : y) * (2 : 1)^r * (1 : 2)^W = (x * 2^r) : (y * 2^W) = (x : y) * (2^(r-w) : 1).

Widzimy więc, że liczy się tylko różnica między r i W. Pozwala nam to również łatwo rozwiązać problem. Na pierwsze pytanie ("kto powinien być bardziej pewny siebie?"), wcześniejsze kursy nie mają znaczenia, o ile nie są 1: 0 lub 0: 1 i obie osoby mają identyczne notowania. Rzeczywiście, jeśli ich identycznym przeorem było x: y, to tylna osoba pierwszej osoby będzie (2^3 * x) : y, podczas gdy druga osoba będzie (2^4 * x): y, więc druga osoba jest bardziej pewna.

Załóżmy ponadto, że wcześniejsze kursy były jednolite, czyli 1: 1. Wtedy tył pierwszej osoby będzie 8: 1, podczas gdy druga osoba będzie 16: 1. Możemy je łatwo przetłumaczyć na prawdopodobieństwo 8/9 i 16/17, potwierdzając Pozostałe obliczenia.

Punkt jest taki, że jeśli otrzymamy powyższe równanie pogrubione, to problem jest naprawdę łatwy. Ale co ważne , możesz być pewien, że nie zepsułeś żadnej arytmetyki, ponieważ musisz zrobić tak mało.

Więc to jest złe pytanie programistyczne, ale to jest dobrym testem równania pogrubionego. Po prostu dla praktyki, zastosujmy go do jeszcze dwóch problemów:

Wybieram losowo jedną z dwóch monet, uczciwą monetę lub fałszywą, dwugłową monetę, każda z 50% prawdopodobieństwem. Przewracam to trzy razy i pojawia się głowa wszystkie trzy razy. Jakie jest prawdopodobieństwo, że to prawdziwa moneta?

Wcześniejsze kursy są prawdziwe: fake = 1: 1, Jak podano w problemie. Prawdopodobieństwo, że zobaczę trzy głowy z prawdziwą monetą wynosi 1 / 8, ale jest to 1 z fałszywą monetą, więc stosunek prawdopodobieństwa wynosi 1 : 8. Tak więc kurs tylny to = wcześniejsze * Prawdopodobieństwo = 1: 8. Zatem prawdopodobieństwo, że jest to prawdziwa moneta wynosi 1/9.

Ten problem przywołuje również ważne zastrzeżenie: istnieje ewentualnie Inna współczynnik prawdopodobieństwa dla każdej możliwej obserwacji. Dzieje się tak dlatego, że współczynnik prawdopodobieństwa dla B wynosi P(B|A) : P(B|a), co niekoniecznie jest związane ze współczynnikiem prawdopodobieństwa dla B, który jest P(B|A) : P (B|A). Niestety, we wszystkich powyższych przykładach były one odwrotnością siebie, ale tutaj nie są.

Rzeczywiście, Załóżmy, że rzucę monetą raz i dostanę reszka. Jakie jest prawdopodobieństwo, że to prawdziwa moneta? Oczywiście jeden. Jak się sprawdza twierdzenie Bayesa? Współczynnik prawdopodobieństwa dla tej obserwacji jest prawdopodobieństwo zobaczenia tego wyniku z prawdziwą monetą kontra fałszywą monetą, które wynosi 1/2 : 0 = 1: 0. Oznacza to, że zobaczenie pojedynczego ogona zabija prawdopodobieństwo, że moneta jest fałszywa, co sprawdza się z naszą intuicją.

Oto problem, o którym wspomniałem ze strony Eliezera:

Przed tobą jest bookbag zawierający 1000 żetonów pokerowych. Zacząłem od dwóch takich bookbagów, jeden zawierający 700 czerwonych i 300 niebieskich żetonów, inne zawierające 300 czerwonych i 700 niebieskich. Rzuciłem uczciwą monetą, aby określić, który bookbag użyć, więc Twoje wcześniejsze prawdopodobieństwo, że bookbag przed tobą jest czerwona bookbag wynosi 50%. Teraz próbkujesz losowo, z wymianą po każdym chipie. W 12 samplach dostajesz 8 czerwonych i 4 niebieskie. Jakie jest prawdopodobieństwo, że jest to głównie czerwona torba? (Nie musisz być dokładny - wystarczy przybliżone oszacowanie.)

Wcześniejsze kursy są czerwone : niebieskie = 1: 1. Współczynniki prawdopodobieństwa są 7: 3 i 3: 7, więc szanse są (7 : 3)^8 * (3 : 7)^4 = 7^4 : 3^4. W tym momencie oceniamy 7: 3 jako powiedzmy 2: 1 i otrzymujemy 2^4 : 1 = 16 : 1. Nasza ostateczna odpowiedź jest jeszcze większa, więc jest zdecydowanie większa niż 95% lub więcej; właściwa odpowiedź wynosi około 96,7%. Porównaj to z odpowiedziami większości ludzi, które mieszczą się w przedziale 70-80%.

Mam nadzieję, że zgadzasz się, że problemy stają się naprawdę łatwe, i intuicyjne , gdy oglądane w tym świetle.

Zakładam, że "a priori" prawdopodobieństwo jednej hipotezy w stosunku do drugiej wynosi 1/2, a ponadto, że obie osoby ponownie wkładają każdą kulę po jej wydobyciu (ekstrakcje są od siebie niezależne).

Poprawna odpowiedź jest taka, że drugi obserwator powinien być bardziej pewny siebie niż pierwszy. Moja poprzednia odpowiedź była błędna z powodu trywialnego błędu w obliczeniach, Wielkie dzięki i +1 dla Adama Rosenfielda za jego poprawkę.

Let 2/3R 1 / 3W oznacza event "urna zawiera 2/3 czerwonych kul i 1/3 białych kul", i niech 4R,1W oznacza zdarzenie "4 czerwone kulki i 1 biała kula zostaną wyciągnięte". Następnie, używając reguły Bayesa,

P [ 2 / 3R 1/3W | 4R,1W] = P[4R, 1W | 2/3R 1 / 3W] P [ 2 / 3R 1 / 3W] / P[4R,1W ] = (2/3)⁴ (1/3)¹ (1/2) / P [ 4R, 1W]

Teraz, ponieważ 2 / 3R 1 / 3W i 1 / 3R 2 / 3W są komplementarne przez hipoteza,

P [ 4R, 1W ] = P [ 4R, 1W | 2/3R 1 / 3W] P [ 2 / 3R 1 / 3W] + P[4R,1W | 1/3R 2 / 3W] P [ 1 / 3R 2 / 3W] = (2/3)⁴ (1/3)¹ (1/2) + (1/3)⁴ (2/3)¹ (1/2)

Tak więc,

P [ 2 / 3R 1/3W | 4R, 1W] = (2/3)⁴ (1/3)¹ (1/2) / { (2/3)⁴ (1/3)¹ (1/2) + (1/3)⁴ (2/3)¹ (1/2) } = 2^4 / (2^4 + 2) = 8/9

To samo obliczenie dla P [2 / 3R 1 / 3W | 12R, 8W] (tj. mając (2/3)¹² (1/3)⁸ zamiast (2/3)⁴ (1/3)¹) plony teraz 16/17, stąd zaufanie drugiego obserwatora jest większe niż zaufanie pierwszego.

P[2/3R 1/3W | 4R, 1W] = (2/3)^4 * (1/3)^1 * (1/2) / { (2/3)^4 * (1/3)^1 * (1/2) + (1/3)^4 * (2/3)^1 * (1/2) } = 2^4 / (2^4 + 1) = 16/17

Er,

= ⅔^4*⅓ / (⅔^4*⅓ + ⅓^4*⅔)
= 16/243 / (16/243 + 2/243)
= 16/18

P (⅔R⅓W | 12R8W) rzeczywiście jednak = 16/17, więc 12R8W może być bardziej pewny siebie.

Hehe. Może się mylę, ale czy nie jest intuicyjne, że odpowiedź powinna być drugim facetem ?

Widzi się stosunek : 4:1 4/5 : 1/5

Two widzi stosunek 3:1 3/4: 1/4

Tak proste pytanie, Kto jest bliżej 2/3: 1/3 ? Stąd odpowiedź brzmi Obs. Dwa.

Być może popełniłem dwa błędy i otrzymuję prostą odpowiedź na coś skomplikowanego, ale wybacz moją cierpliwość, aby przejść przez długie wyjaśnienie tego, co uważałem za intuicyjne.