Lad os sige, at du har trænet din Naive Bayes Classifier i 2 klasser "Ham" og "Spam" (dvs. det klassificerer e-mails). For enkelheds skyld antager vi, at tidligere sandsynligheder er 50/50.

Lad os sige, at du har en e-mail $ (w_1, w_2, .. ., w_n) $ som din klassifikator bedømmer meget højt som "skinke", sig $$ P (skinke | w_1, w_2, ... w_n) = 0,90 $ $ og $$ P (Spam | w_1, w_2, .. w_n) = .10 $$

Indtil videre .

Lad os sige, at du har en anden mail $ (w_1, w_2, ..., w_n, w_ {n + 1}) $ er nøjagtig det samme som ovenstående e-mail bortset fra at der er et ord i det, der ikke er inkluderet i ordforrådet. Da dette ords antal er 0, er $$ P (Ham | w_ {n + 1}) = P (Spam | w_ {n + 1}) = 0 $$ span>

Pludselig $$ P (Ham | w_1, w_2, ... w_n, w_ {n + 1}) = P (Ham | w_1, w_2, ... w_n) * P (Ham | w_ {n + 1}) = 0 $$ og $$ P (Spam | w_1, w_2, .. w_n, w_ {n + 1}) = P (Spam | w_1, w_2, ... w_n) * P (Spam | w_ {n + 1}) = 0 $$

På trods af at den første e-mail er stærkt klassificeret i en klasse, kan denne 2. e-mail klassificeres forskelligt på grund af det sidste ord, der har sandsynligheden for nul.

Laplace-udjævning løser dette ved at give det sidste ord en lille sandsynlighed for ikke-nul for begge klasser, så de bageste sandsynligheder ikke pludselig falder til nul.

Du har altid brug for denne 'fejlsikre' sandsynlighed.

For at se hvorfor overveje det værste tilfælde, hvor ingen af ​​ordene i træningsprøven vises i testsætningen. I dette tilfælde vil vi under din model konkludere, at sætningen er umulig, men at den klart eksisterer, hvilket skaber en modsigelse.

Et andet ekstremt eksempel er testsætningen "Alex mødte Steve." hvor "met" vises flere gange i træningsprøven, men "Alex" og "Steve" ikke. Din model vil konkludere, at dette udsagn er meget sandsynligt, hvilket ikke er sandt.

At ignorere disse ord er en anden måde at håndtere det på. Det svarer til gennemsnit (integrer ud) over alle manglende variabler. Så resultatet er anderledes. Hvordan?

Under forudsætning af den anvendte betegnelse her: $$ P (C ^ {*} | d) = \ arg \ max_ {C} \ frac {\ prod_ {i} p (t_ {i} | C) P (C)} {P (d)} \ propto \ arg \ max_ {C} \ prod_ {i} p (t_ {i} | C) P (C) $$ hvor $ t_ {i} $ er tokens i ordforrådet, og $ d $ er et dokument.

Lad os sige token $ t_ {k} $ vises ikke. I stedet for at bruge en Laplace-udjævning (som kommer fra at pålægge en Dirichlet forud for de multinomiale Bayes), opsummerer du $ t_ {k} $, hvilket svarer til at sige: Jeg tager en vægtet afstemning over alle muligheder for de ukendte tokens (at have dem eller ikke).

$$ P (C ^ {*} | d) \ propto \ arg \ max_ {C} \ sum_ {t_ {k}} \ prod_ {i} p (t_ {i} | C) P (C) = \ arg \ max_ {C} P (C) \ prod_ {i \ neq k} p (t_ {i} | C) \ sum_ {t_ {k}} p (t_ {k} | C) = \ arg \ max_ {C} P (C) \ prod_ {i \ neq k} p (t_ {i} | C) $$

Men i praksis foretrækker man udjævningstilgangen. I stedet for at ignorere disse tokens, tildeler du dem en lav sandsynlighed, som er som at tænke: hvis jeg har ukendte tokens, er det mere usandsynligt, at det er den slags dokument, som jeg ellers ville tro, det er.

Dette spørgsmål er ret simpelt, hvis du er fortrolig med Bayes estimatorer, da det er den direkte konklusion af Bayes estimator.

I Bayesian tilgang betragtes parametre for at være en størrelse, hvis variation kan beskrives ved en sandsynlighedsfordeling (eller forudgående distribution).

Så hvis vi ser proceduren for afhentning som multinomial distribution, så kan vi løse spørgsmålet i få trin.

Først, definer

$$ m = | V |, n = \ sum n_i $$

Hvis vi antager den forudgående distribution af $ p_i $ er ensartet fordeling, vi kan beregne den betingede sandsynlighedsfordeling som

$$ p (p_1, p_2, ..., p_m | n_1, n_2, ..., n_m) = \ frac {\ Gamma (n + m)} {\ prod \ limits_ {i = 1} ^ {m} \ Gamma ( n_i + 1)} \ prod \ limits_ {i = 1} ^ {m} p_i ^ {n_i} $$

vi kan finde, at det faktisk er Dirichlet-fordeling og forventning om $ p_i $ er

$$ E [p_i] = \ frac {n_i + 1} {n + m} $$

Et naturligt skøn for $ p_i $ er middelværdien af ​​den bageste fordeling. Så vi kan give Bayes-estimatoren for $ p_i $ :

$$ \ hat p_i = E [p_i] $$

Du kan se, at vi bare drager den samme konklusion som Laplace-udjævning.

Du vil vide, hvorfor vi overhovedet gider at udjævne i en Naive Bayes-klassificering (når vi i stedet kan smide de ukendte funktioner).

Svaret på dit spørgsmål er: ikke alle ord skal være ukendt i alle klasser.

Sig, at der er to klasser M og N med funktioner A stærk>, B og C som følger:

M: A = 3, B = 1, C = 0 stærk >

(I klassen M vises A tre gange og B kun en gang)

N: A = 0, B = 1, C = 3

(I klassen N vises C 3 gange og B kun én gang)

Lad os se, hvad der sker, når du smider funktioner, der vises nul gange.

A) Smid funktioner ud, der vises nul gange i enhver klasse

Hvis du smider funktioner A og C , fordi de vises nul str ong> gange i hvilken som helst af klasser, så er du kun tilbage med funktionen B at klassificere dokumenter med.

Og miste disse oplysninger er en dårlig ting, som du vil se nedenfor!

Hvis du får et testdokument som følger:

B = 1, C = 3

(Den indeholder B én gang og C tre gange)

Nu, da du har kasseret funktionerne A og B vil du ikke være i stand til at fortælle, om ovennævnte dokument tilhører klasse M eller klasse N

Så taber du noget funktionsoplysninger er en dårlig ting!

Matt, du har ret, du hæver et meget godt punkt - ja Laplace Glatning er helt ærligt tull! Bare at smide disse funktioner kan være en gyldig tilgang, især når nævneren også er et lille tal - der er simpelthen ikke nok bevis til at understøtte sandsynlighedsestimatet.

Jeg har en stærk modvilje mod at løse ethvert problem via brug af en vilkårlig justering. Problemet her er nuller, "løsningen" er bare "at tilføje en lille værdi til nul, så det ikke længere er nul - MAGIC problemet er ikke mere". Naturligvis er det helt vilkårligt.

Dit forslag til bedre valg af funktioner til at begynde med er en mindre vilkårlig tilgang, og IME øger ydeevnen. Desuden forværrer Laplace Smoothing i forbindelse med naive Bayes, som modellen efter min erfaring, granularitetsproblemet - dvs. problemet, hvor scores output tendens til at være tæt på 1.0 eller 0.0 (hvis antallet af funktioner er uendeligt, vil hver score være 1.0 eller 0.0 - dette er en konsekvens af uafhængighedsantagelsen).

Nu findes alternative teknikker til sandsynlighedsestimering (bortset fra maksimal sandsynlighed + Laplace-udjævning), men er massivt underdokumenteret. Faktisk er der et helt felt kaldet induktiv logik og inferensprocesser, der bruger mange værktøjer fra informationsteori.

Hvad vi bruger i praksis er Minimum Cross Entropy Updating, som er en udvidelse af Jeffreys opdatering, hvor vi definere det konvekse område af sandsynlighedsrummet i overensstemmelse med beviset for at være regionen således, at et punkt i det ville betyde, at maksimal sandsynlighedsestimering er inden for den forventede absolutte afvigelse fra punktet.

Dette har en dejlig egenskab, at når antallet af datapunkter falder, skønnes fredsmæssigt problemfrit at nærme sig det foregående - og derfor er deres virkning i Bayesian-beregningen nul. Laplace-udjævning på den anden side gør, at hver estimering nærmer sig det punkt af maksimal entropi, der muligvis ikke er den forudgående, og derfor er effekten i beregningen ikke nul og vil bare tilføje støj.

Jeg stødte også på det samme problem, mens jeg studerede Naive Bayes.

Ifølge mig, når vi støder på et testeksempel, som vi ikke var stødt på under træning, bliver Posterior sandsynlighed 0.

Så ved at tilføje 1, selvom vi aldrig træner på en bestemt funktion / klasse, vil sandsynligheden for posterior aldrig være 0.

Du har muligvis ikke nok data til opgaven, og derfor ville estimatet ikke være nøjagtigt, eller modellen ville overdrive træningsdata, for eksempel kan vi ende med et sort svane problem.Der er ingen sort svane i vores træningseksempler, men det betyder ikke, at der ikke findes nogen sort svane i verden.Vi kan bare tilføje en forud for vores model, og vi kan også kalde det "pseudocount".