Statistisk slutning er lavet af hele samlingen af ​​konklusioner, man kan drage fra et givet datasæt og en tilhørende hypotetisk model, inklusive pasformen til den nævnte model. For at citere fra Wikipedia,

Inferens er handlingen eller processen med at udlede logiske konklusioner fra forudsætninger, der vides eller antages at være sande.

og,

Statistisk slutning bruger matematik til at drage konklusioner i nærvær af usikkerhed.

Estimering er kun et aspekt af slutning, hvor man erstatter ukendte parametre (forbundet med den hypotetiske model, der genererede dataene) med optimale løsninger baseret på dataene (og muligvis forudgående information om disse parametre) . Det skal altid være forbundet med en evaluering af usikkerheden ved de rapporterede estimater, evaluering, der er en integreret del af slutningen.

Maksimal sandsynlighed er en skøn, men det dækker ikke hele slutningen. Tværtimod tilbyder Bayesian analyse en komplet slutningsmaskine.

Mens estimering i sig selv er rettet mod at komme med værdier for de ukendte parametre (f.eks. koefficienter i logistisk regression eller i det adskillende hyperplan i supportvektormaskiner), statistisk slutning forsøger at knytte et mål for usikkerhed og / eller en sandsynlighedserklæring til parameterværdierne (standardfejl og konfidensintervaller). Hvis modellen, som statistikeren antager, er tilnærmelsesvis korrekt, så forudsat at de nye indgående data fortsat er i overensstemmelse med den model, kan usikkerhedserklæringerne have en vis sandhed i sig og give et mål for, hvor ofte du laver fejl ved at bruge model til at træffe dine beslutninger.

Kilderne til sandsynlighedserklæringerne er todelt. Nogle gange kan man antage en underliggende sandsynlighedsfordeling af det, du måler, og med noget matematisk hekseri (multivariat integration af en Gaussisk fordeling osv.) Opnår du sandsynlighedsfordelingen af ​​resultatet (eksemplets gennemsnit af de Gaussiske data er i sig selv Gaussisk ). Konjugeret priors i Bayesiansk statistik falder inden for den heksekunstkategori. Andre gange er man nødt til at stole på de asymptotiske (store stikprøve) resultater, der siger, at i stor nok prøve er ting bundet til at opføre sig på en bestemt måde (Central Limit Theorem: stikprøveværdien af ​​de data, der er iid med middel $ \ mu $ og varians $ \ sigma ^ 2 $ er cirka Gaussisk med gennemsnit $ \ mu $ og varians $ \ sigma ^ 2 / n $ uanset formen på distributionen af ​​de originale data).

Det tætteste, som maskinindlæring kommer til, er krydsvalidering, når prøven opdeles i trænings- og valideringsdelene, hvor sidstnævnte effektivt siger, "hvis de nye data ligner de gamle data, men ikke er fuldstændigt relateret til de data, der blev brugt til opsætning af min model, så er et realistisk mål for fejlprocenten sådan og sådan ". Det er afledt fuldt empirisk ved at køre den samme model på dataene, snarere end at forsøge at udlede modelens egenskaber ved at lave statistiske antagelser og involvere eventuelle matematiske resultater som ovenstående CLT. Formentlig er dette mere ærligt, men da det bruger mindre information og derfor kræver større stikprøvestørrelser. Det antager også implicit, at processen ikke ændres, og at der ikke er nogen struktur i dataene (som klynge- eller tidsseriekorrelationer), der kan krybe ind og bryde den meget vigtige antagelse om uafhængighed mellem trænings- og valideringsdataene. / p>

Selvom udtrykket "at udlede den bageste" måske giver mening (jeg er ikke Bayesian, kan jeg ikke rigtig fortælle, hvad den accepterede terminologi er), tror jeg ikke, der er meget involveret i at lave nogen antagelser i dette inferentielle trin. Alle de Bayesiske antagelser er (1) i den foregående og (2) i den antagne model, og når de er oprettet, følger den bageste automatisk (i det mindste i teorien via Bayes sætning; de praktiske trin kan være meget komplicerede, og Sipps Gambling ... undskyld, Gibbs-prøveudtagning kan være en relativt let komponent for at komme til den bageste). Hvis "at udlede den bageste" henviser til (1) + (2), så er det en smag af statistisk slutning for mig. Hvis (1) og (2) er angivet særskilt, og derefter "at udlede den bageste" er noget andet, så kan jeg ikke helt se, hvad det andet måske kan være oven på Bayes sætning.

Antag at du har et repræsentativt udsnit af en population.

Inferens er, når du bruger denne prøve til at estimere en model og angive, at resultaterne kan udvides til hele befolkningen med en vis nøjagtighed. At drage slutning er at antage en antagelse om en population ved kun at bruge en repræsentativ prøve.

Estimering er, når du vælger en model, der passer til din dataprøve og beregner med en bestemt præcision, at modellens parametre. Det kaldes estimering, fordi du aldrig vil kunne beregne de sande værdier af parametrene, da du kun har en dataprøve og ikke hele populationen.

Dette er et forsøg på at give et svar til enhver uden statistikbaggrund. For dem, der er interesseret i flere detaljer, er der mange nyttige referencer ( som denne for eksempel) om emnet.

Kort svar:

Estimering $ -> $ find ukendte værdier (estimater) for emne af interesse

Statistisk slutning $ -> $ brug sandsynlighedsfordelingen af ​​emne af interesse for at drage sandsynlige konklusioner

Langt svar:

Udtrykket "estimering" bruges ofte til at beskrive processen med at finde et estimat for en ukendt værdi, mens "inferens" ofte refererer til statistisk inferens, en proces med at opdage fordelinger (eller karakteristika) af tilfældige variabler og bruge dem til at drage konklusioner.

Overvej at besvare spørgsmålet om: Hvor høj er den gennemsnitlige person i mit land?

Hvis du beslutter dig for at finde et skøn, kan du gå rundt i et par dage og måle fremmede, du møder på gaden (oprette en prøve) og derefter beregne dit skøn for eksempel som t han gennemsnit af din prøve. Du har netop foretaget et skøn!

På den anden side vil du måske finde mere end et skøn, som du ved er et enkelt tal og sandsynligvis er forkert. Du kan sigte mod at besvare spørgsmålet med en vis selvtillid, såsom: Jeg er 99% sikker på, at en persons gennemsnitlige højde i mit land er mellem 1,60m og 1,90m.

For at skabe en sådan hævder, at du bliver nødt til at estimere højdefordelingen for de mennesker, du møder, og træffe dine konklusioner på baggrund af denne viden - som er grundlaget for statistisk slutning.

Det afgørende at huske på (som påpeget) i Xi'ans svar) er, at det at finde en estimator er en del af statistisk slutning.

Nå, der er mennesker fra forskellige discipliner i dag, der gør deres karriere inden for ML, og det er sandsynligt, at de taler lidt forskellige dialekter.

Uanset hvilke termer de måtte bruge, er begreberne bagved forskellige.Så det er vigtigt at få disse begreber klare og derefter oversætte disse dialekter på den måde, du foretrækker.

F.eks.

I PRML af Bishop,

inferensfase, hvor vi bruger træningsdata til at lære en model til $ p (C_k | x) $

Så det ser ud til, at her Inference = Læring = Estimering

Men i andet materiale kan slutning afvige fra estimering, hvor slutning betyder forudsigelse kode> mens estimering betyder indlæringsproceduren for parametrene.

I forbindelse med maskinindlæring refererer slutning til en handling, der opdager indstillinger for latente (skjulte) variabler, givet dine observationer. Dette inkluderer også bestemmelse af den bageste fordeling af dine latente variabler. Estimering ser ud til at være forbundet med "pointestimering", som er at bestemme dine modelparametre. Eksempler inkluderer estimering af maksimal sandsynlighed. I forventningsmaksimering (EM) i E-trin udleder du inferens. I M-trin foretager du parameterestimering.

Jeg tror, ​​jeg hører folk sige "udlede den bageste fordeling" mere end "estimere den bageste fordeling". Sidstnævnte bruges ikke i den sædvanlige nøjagtige slutning. Det bruges for eksempel i forventningsudbredelse eller variation Bayes, hvor det at udlede en nøjagtig bageste er ukompliceret, og yderligere antagelser om den bageste skal laves. I dette tilfælde er den afledte bageste omtrentlige. Folk siger måske "tilnærmelsesvis den bageste" eller "estimer den bageste".

Alt dette er kun min mening. Det er ikke en regel.

Jeg vil føje til andres svar ved at udvide delen "inferens". I forbindelse med maskinlæring er et interessant aspekt af slutning at estimere usikkerhed. Det er generelt vanskeligt med ML-algoritmer: hvordan lægger du en standardafvigelse på klassifikationsmærket, som et neuralt net eller beslutningstræ spytter ud? I traditionelle statistikker giver distributionsantagelser os mulighed for at lave matematik og finde ud af, hvordan vi vurderer usikkerhed i parametrene. I ML er der muligvis ingen parametre, ingen fordelingsantagelser eller ingen af ​​disse.

Der er sket nogle fremskridt på disse fronter, nogle af dem er meget nylige (nyere end de nuværende svar). En mulighed er, som andre har nævnt, Bayesian analyse, hvor din bageste giver dig usikkerhedsestimater. Bootstrap-metoder er gode. Stefan Wager og Susan Athey i Stanford har noget arbejde fra de sidste par år med at få slutning for tilfældige skove. Analogt er BART en Bayesian-træensemblemetode, der giver en bageste, hvorfra slutning kan drages.