Spørgsmål:
Hvorfor medtager rumlig autokorrelation at inkludere breddegrad og længdegrad i en GAM?
gisol
2012-09-01 19:00:42 UTC
view on stackexchange narkive permalink

Jeg har produceret generaliserede additivmodeller til skovrydning. For at redegøre for rumlig-autokorrelation har jeg inkluderet bredde og længdegrad som et udjævnet interaktionsudtryk (dvs. s (x, y)).

Jeg har baseret dette på at læse mange papirer, hvor forfatterne siger ' for at tage højde for rumlig autokorrelation, blev koordinater af punkter inkluderet som udjævnede termer ', men disse har aldrig forklaret, hvorfor dette faktisk tegner sig for det. Det er ret frustrerende. Jeg har læst alle de bøger, jeg kan finde på GAM'er i håb om at finde et svar, men de fleste (f.eks. Generaliserede additivmodeller, en introduktion med R, SN Wood) berører bare emnet uden at forklare.

Jeg ville virkelig sætte pris på det, hvis nogen kunne forklare HVORFOR optagelsen af ​​bredde- og længdegradskonti for rumlig autokorrelation, og hvad 'regnskab' for det virkelig betyder - er det simpelthen nok at inkludere det i modellen, eller skulle du sammenligne en model med s (x, y) i og en model uden? Og indikerer afvigelsen, der er forklaret ved udtrykket, omfanget af rumlig autokorrelation?

Hvis det er relevant, brugte jeg funktionen 'bam' fra pakken 'mgcv' i R.
Jeg har også testet for rumlig autokorrelation ved hjælp af Morans I.
mulig duplikat af [Kan du bruge en spline-funktion af de geografiske koordinater til at kontrollere for rumlig autokorrelation?] (http://stats.stackexchange.com/questions/33812/can-you-use-a-spline-function-of- de-rumlige-koordinater-til-kontrol-for-rumlige)
I betragtning af svarene her kan vi markere de andre Q @Macro-links til som en duplikat af denne, så folk, der kommer på tværs af den ene, ser svarene her, især for whuber.
+1 @GavinSimpson - bemærk forresten, at du har beføjelse til at afgive tætte stemmer, hvoraf nok vil føre til, at de to spørgsmål bliver flettet.
@Macro Tak; Jeg stemte på den anden Q, men på egen hånd ville det opnå lidt (andet end mulig duplikatlink), deraf kommentaren her.
[At håndtere rumlig og tidsmæssig autokorrelation] (http://www.flutterbys.com.au/stats/tut/tut8.3a.html) er meget nyttigt for mig.Nogle fordele ved modellen med korrelationsstruktur forklares i begyndelsen af "3.2 Tilpasning af rumlig autokorrelation i modellen"
Fire svar:
whuber
2012-09-01 21:49:02 UTC
view on stackexchange narkive permalink

"Rumlig autokorrelation" betyder forskellige ting for forskellige mennesker. Et overordnet koncept er dog, at et fænomen, der observeres på steder $ \ mathbf {z} $, på en eller anden bestemt måde kan afhænge af (a) kovariater, (b) placering og (c) dets værdier ved i nærheden placeringer. (Hvor de tekniske definitioner varierer, ligger i den type data, der overvejes, hvilken "bestemt måde" der postuleres, og hvad "nærliggende" betyder: alle disse skal gøres kvantitative for at komme videre.)

For at se hvad der kan ske, lad os overveje et simpelt eksempel på en sådan rumlig model for at beskrive topografien i en region. Lad den målte højde ved et punkt $ \ mathbf {z} $ være $ y (\ mathbf {z}) $. En mulig model er, at $ y $ på en bestemt matematisk måde afhænger af koordinaterne for $ \ mathbf {z} $, som jeg vil skrive $ (z_1, z_2) $ i denne to-dimensionelle situation. Lad $ \ varepsilon $ repræsentere (hypotetisk uafhængige) afvigelser mellem observationerne og modellen (som normalt antages at have nul forventning), kan vi skrive

$$ y (\ mathbf {z}) = \ beta_0 + \ beta_1 z_1 + \ beta_2 z_2 + \ varepsilon (\ mathbf {z}) $$

til en lineær trendmodel . Den lineære tendens (repræsenteret af $ \ beta_1 $ og $ \ beta_2 $ koefficienterne) er en måde at fange ideen om, at nærliggende værdier $ y (\ mathbf {z}) $ og $ y (\ mathbf {z} ') $ , for $ \ mathbf {z} $ tæt på $ \ mathbf {z} '$, burde have tendens til at være tæt på hinanden. Vi kan endda beregne dette ved at overveje den forventede værdi af størrelsen på forskellen mellem $ y (\ mathbf {z}) $ og $ y (\ mathbf {z} ') $, $ E [| y (\ mathbf {z }) - y (\ mathbf {z} ') |] $. Det viser sig, at matematikken er meget enklere, hvis vi bruger et lidt andet mål for forskel: I stedet beregner vi den forventede kvadrat forskel:

$$ \ eqalign {E [\ left (y (\ mathbf {z}) - y (\ mathbf {z} ') \ right) ^ 2] & = E [\ left (\ beta_0 + \ beta_1 z_1 + \ beta_2 z_2 + \ varepsilon (\ mathbf {z}) - \ left (\ beta_0 + \ beta_1 z_1 '+ \ beta_2 z_2' + \ varepsilon (\ mathbf { z} ') \ højre) \ højre) ^ 2] \\ & = E [\ venstre (\ beta_1 (z_1-z_1') + \ beta_2 (z_2-z_2) '+ \ varepsilon (\ mathbf {z}) - \ varepsilon (\ mathbf {z} ') \ højre) ^ 2] \\ & = E [\ left (\ beta_1 (z_1-z_1') + \ beta_2 (z_2-z_2) '\ højre) ^ 2 \\ & \ quad + 2 \ left (\ beta_1 (z_1-z_1 ') + \ beta_2 (z_2-z_2)' \ right) \ left (\ varepsilon (\ mathbf {z}) - \ varepsilon (\ mathbf {z} ') \ højre) \\ & \ quad + \ left (\ varepsilon (\ mathbf {z}) - \ varepsilon (\ mathbf {z} ') \ right) ^ 2] \\ & = \ left (\ beta_1 (z_1-z_1') ) + \ beta_2 (z_2-z_2) '\ højre) ^ 2 + E [\ venstre (\ varepsilon (\ mathbf {z}) - \ varepsilon (\ mathbf {z}') \ højre) ^ 2]} $$

Denne model er fri for eksplicit rumlig autokorrelation, fordi der ikke er noget udtryk i den, der direkte relaterer $ y (\ mathbf {z}) $ til nærliggende værdier $ y (\ mathbf {z} ') $ .

En alternativ, anderledes model ignorerer den lineære tendens og antager kun at der er autokorrelation. En måde at gøre det på er gennem strukturen af ​​afvigelserne $ \ varepsilon (\ mathbf {z}) $. Vi siger måske, at

$$ y (\ mathbf {z}) = \ beta_0 + \ varepsilon (\ mathbf {z}) $$

and, for at tage højde for vores forventning om sammenhæng, antager vi en slags "kovariansstruktur" for $ \ varepsilon $. For at dette skal være rumligt meningsfuldt, antager vi kovariansen mellem $ \ varepsilon (\ mathbf {z}) $ og $ \ varepsilon (\ mathbf {z} ') $, svarende til $ E [\ varepsilon (\ mathbf {z }) \ varepsilon (\ mathbf {z} ')] $ fordi $ \ varepsilon $ har nul betyder, har tendens til at falde, når $ \ mathbf {z} $ og $ \ mathbf {z}' $ bliver mere og mere fjerne. Da detaljerne ikke betyder noget, lad os bare kalde denne kovarians $ C (\ mathbf {z}, \ mathbf {z} ') $. Dette er rumlig autokorrelation. Faktisk er den (sædvanlige Pearson) korrelation mellem $ y (\ mathbf {z}) $ og $ y (\ mathbf {z} ') $

$$ \ rho (y (\ mathbf {z}), y (\ mathbf {z} ')) = \ frac {C (\ mathbf {z}, \ mathbf {z}')} {\ sqrt {C (\ mathbf {z}, \ mathbf {z}) C (\ mathbf {z} ', \ mathbf {z}')}}. $$

I denne notation forventede den foregående kvadratforskel på $ y $ for den første model er

$$ \ eqalign {E [\ left (y (\ mathbf {z}) - y (\ mathbf {z} ') \ right ) ^ 2] & = \ left (\ beta_1 (z_1-z_1 ') + \ beta_2 (z_2-z_2)' \ right) ^ 2 + E [\ left (\ varepsilon (\ mathbf {z}) - \ varepsilon ( \ mathbf {z} ') \ højre) ^ 2] \\ & = \ venstre (\ beta_1 (z_1-z_1') + \ beta_2 (z_2-z_2) '\ højre) ^ 2 + C_1 (\ mathbf {z} , \ mathbf {z}) + C_1 (\ mathbf {z} ', \ mathbf {z}')} $$

(forudsat $ \ mathbf {z} \ ne \ mathbf {z} ' $) fordi $ \ varepsilon $ forskellige steder er blevet antaget at være uafhængig. Jeg har skrevet $ C_1 $ i stedet for $ C $ for at indikere, at dette er kovariansfunktionen for den første model.

Når kovarianterne i $ \ varepsilon $ ikke varierer dramatisk fra et sted til et andet (faktisk , antages de normalt at være konstante), denne ligning viser, at den forventede kvadratiske forskel i $ y $ stiger kvadratisk med skillet mellem $ \ mathbf {z} $ og $ \ mathbf {z} '$. Den faktiske stigning bestemmes af trendkoefficienterne $ \ beta_0 $ og $ \ beta_1 $.

Lad os se, hvad de forventede kvadratiske forskelle i $ y $ er for den nye model, model 2 :

$$ \ eqalign {E [\ left (y (\ mathbf {z}) - y (\ mathbf {z} ') \ right) ^ 2] & = E [\ left (\ beta_0 + \ varepsilon (\ mathbf {z}) - \ left (\ beta_0 + \ varepsilon (\ mathbf {z} ') \ right) \ right) ^ 2] \\ & = E [\ left (\ varepsilon (\ mathbf {z}) - \ varepsilon (\ mathbf {z} ') \ højre) ^ 2] \\ & = E [\ varepsilon (\ mathbf {z}) ^ 2-2 \ varepsilon (\ mathbf {z}) \ varepsilon (\ mathbf {z} ') + \ varepsilon (\ mathbf {z}') ^ 2] \\ & = C_2 (\ mathbf {z}, \ mathbf {z}) - 2C_2 (\ mathbf {z} , \ mathbf {z} ') + C_2 (\ mathbf {z}', \ mathbf {z} ').} $$

Igen opfører det sig på den rigtige måde: fordi vi regnede med $ C_2 (\ mathbf {z}, \ mathbf {z} ') $ $ skulle reduceres som $ \ mathbf {z} $ og $ \ mathbf {z} '$ bliver mere adskilt, den forventede kvadratiske forskel i $ y $' s faktisk op med stigende adskillelse af placeringer.

Sammenligning af de to udtryk for $ E [\ left (y (\ mathbf {z}) - y (\ mathbf {z} ') \ right) ^ 2] $ i de to modeller viser os, at $ \ left (\ beta_1 (z_1-z_1') + \ beta_2 (z_2-z_2) 'højre) ^ 2 $ i den første model spiller en rolle matematisk identisk med $ -2C_2 (\ mathbf {z}, \ mathbf {z}') $ i den anden model. (Der er en konstant additiv, der lurer der, begravet i de forskellige betydninger af $ C_i (\ mathbf {z}, \ mathbf {z}) $, men det betyder ikke noget i denne analyse.) Ergo afhængig af modellen, er rumlig korrelation typisk repræsenteret som en kombination af en tendens og en fastlagt korrelationsstruktur på tilfældige fejl.

Vi har nu, håber jeg, en klar svar på spørgsmålet: man kan repræsentere ideen bag Toblers geografiske lov ("alt er relateret til alt andet, men nærmere ting er mere relateret") på forskellige måder. I nogle modeller er Toblers lov tilstrækkeligt repræsenteret ved at inkludere tendenser (eller "drift" -termer), der er funktioner i rumlige koordinater som længdegrad og breddegrad. I andre er Toblers lovfangst fanget ved hjælp af en ikke-trivial kovariansstruktur blandt additive tilfældige termer ($ \ varepsilon $). I praksis indeholder modeller begge metoder. Hvilken du vælger afhænger af, hvad du vil opnå med modellen og af dit syn på, hvordan rumlig autokorrelation opstår - om det er underforstået af underliggende tendenser eller afspejler variationer, du ønsker at betragte som tilfældig. Ingen af ​​dem har altid ret, og i et givet problem er det ofte muligt at bruge begge slags modeller til at analysere dataene, forstå fænomenet og forudsige dets værdier andre steder (interpolation). p>

+1 - det er rart at se forbindelsen mellem to tilgange til håndtering af geografisk afhængighed. Fantastisk svar, whuber!
Meget omfattende, tak. Det vil tage mig et øjeblik at tænke over alt dette.
Hvis al statistisk skrivning var af denne slags, ville der være meget mere tydeligt anvendt statistisk arbejde i verden. Smukt gjort.
Forstår jeg dette svar korrekt, når jeg stammer fra det, at blot tilføjelse af X / Y-koordinater som uafhængige variabler til en hvilken som helst (?!) model vil udgøre rumlig autokorrelation til en vis grad?
@Julian: Vi taler om at konstruere forskellige modeller til de samme data.Hvis du inkluderer X- og Y-koordinater som forklarende variabler, men ellers ikke tager højde for rumlig korrelation, giver "rumlig korrelation" ingen mening for denne model, så vi skal være forsigtige med hvad vi mener med "redegør for rumlig korrelation."Men hvis vi forstår dit spørgsmål at stille, om inkludering af koordinaterne som forklarende variabler kan være lige så effektive som at konstruere en model, hvor rumlig korrelation udtrykkeligt er repræsenteret, så er mit svar "ja, ofte er det tilfældet."
Gavin Simpson
2012-09-01 21:35:29 UTC
view on stackexchange narkive permalink

Hovedproblemet i enhver statistisk model er de antagelser, der ligger til grund for en slutningsprocedure. I den slags model, du beskriver, antages residualerne som uafhængige. Hvis de har en vis rumlig afhængighed, og dette ikke er modelleret i den systematiske del af modellen, vil resterne fra denne model også udvise geografisk afhængighed, eller med andre ord vil de være rumligt autokorreleret. En sådan afhængighed vil ugyldiggøre teorien, der producerer p-værdier fra teststatistikker i GAM for eksempel; du kan ikke stole på p-værdierne, fordi de blev beregnet under forudsætning af uafhængighed.

Du har to hovedmuligheder til håndtering af sådanne data; i) modeller den rumlige afhængighed i den systematiske del af modellen, eller ii) lempe antagelsen om uafhængighed og estimer sammenhængen mellem rester.

i) er det, der forsøges ved at inkludere en glat af det rumlige placeringer i modellen. ii) kræver estimering af korrelationsmatricen for resterne ofte under modeltilpasning ved hjælp af en procedure som generaliserede mindste kvadrater. Hvor godt en af ​​disse tilgange håndterer den geografiske afhængighed vil afhænge af karakteren af ​​&-kompleksiteten af ​​den geografiske afhængighed, og hvor let den kan modelleres.

Sammenfattende, hvis du kan modellere den rumlige afhængighed mellem observationer, så restprodukterne er mere tilbøjelige til at være uafhængige tilfældige variabler og bryder derfor ikke antagelserne om nogen inferentiel procedure.

Tak for dit klare svar Gavin. Hvad adskiller rumlig autokorrelation fundamentalt fra enhver gradient, der ikke er inkluderet i modellen? Sig, at dit undersøgelsesområde lå på en skrånende bakke, og de interesserede arter foretrak lavere levesteder end højere levesteder. Manglende inkludering af højden i modellen ville efterlade en struktur i resterne, ville det ikke være? Er det simpelthen, at rumlig autokorrelation (eller blev glemt) eller ikke blev overvejet? (PS måske dette er et dårligt eksempel som optagelse af lat, lang ville også tage højde for denne effekt).
Ja. Jeg formoder, at i de eksempler, du har kigget på, enten var den rumlige komponent af interesse, så den blev modelleret eksplicit via en glat lat / lon, eller den rumlige komponent var en generende betegnelse, men skulle modelleres for at efterlade resterne i.i.d. Hvis den "rumlige" komponent er bedre modelleret via en anden variabel (f.eks. Højde i din kommentar), vil en glatning af den variabel blive brugt i stedet for de geografiske placeringer.
Hvorfor udjævnet?Hvad menes der præcist med "udglattet"?
@Julian Værdierne for svaret udjævnes i forhold til de 2 rumlige koordinater.Eller sagt på en anden måde, den rumlige * effekt * estimeres som en glat 2-d-funktion.Ved glat mener vi, at der er en vis wiggliness målt ved det integrerede kvadrerede andet derivat af spline.Parykheden vælges for at afbalancere modelens pasform og kompleksitet.Hvis du vil vide, hvordan de glatte funktioner (splines) dannes, kan det være værd at stille et specifikt spørgsmål.
ASeaton
2018-11-30 18:28:05 UTC
view on stackexchange narkive permalink

De andre svar er gode. Jeg ville bare tilføje noget om 'at tage højde for' rumlig autokorrelation. Nogle gange fremsættes denne påstand stærkere i retning af "at tage højde for rumlig autokorrelation ikke forklaret af kovariaterne".

Dette kan præsentere et vildledende billede af, hvad den rumlige glat gør. Det er ikke som om der er en ordnet kø med sandsynligheden for, at den glatte tålmodigt venter på, at kovariaterne går først, og derefter vil glat tørre de 'uforklarlige' dele op. I virkeligheden får de alle en chance for at forklare dataene.

Dette papir med en passende navngivet titel præsenterer spørgsmålet virkelig tydeligt, selvom det er set fra en CAR-model, at principperne gælder for GAM-udjævninger.

Tilføjelse af rumligt korrelerede fejl kan ødelægge den faste effekt, du elsker

'Løsningen' i papiret er at udjævne resterne i stedet for at udjævne pladsen. Det ville have den virkning, at dine kovariater forklarer, hvad de kan. Selvfølgelig er der mange applikationer, hvor dette ikke ville være en ønskelig løsning.

Michael R. Chernick
2012-09-01 19:36:19 UTC
view on stackexchange narkive permalink

Rumlig korrelation er simpelthen, hvordan x- og y-koordinaterne relaterer til størrelsen af ​​den resulterende overflade i rummet. Så autokorrelationen mellem koordinaterne kan udtrykkes som et funktionelt forhold mellem de nærliggende punkter.

Hej Michael, tak for svaret. Jeg tror, ​​jeg forstår, hvad du har sagt, men det ser ud til at være en beskrivelse af rumlig autokorrelation snarere end hvordan koordinaterne inkludering tegner sig for det - jeg kan dog gå glip af dit punkt. Sig for eksempel, at jeg har 2 modeller, den første (A) med et enkelt udtryk - skovrydning som en funktion af afstanden til en hovedstad og den anden (B) med afstanden til hovedstadens sigt, men også lat og lang semester. Har du noget imod at gentage dit svar i denne sammenhæng? Måske kunne jeg forstå det bedre.
Jeg tror, ​​at hvis der ikke er nogen interaktionsudtryk i modellen, er den rumlige autokorrelation mellem nabopunkter 0. Når du har et iteraktionsudtryk, bestemmer dette udtryk værdien af ​​de rumlige autokorrelationer.
Så hvis i model B er afvigelsen forklaret med x, y-udtrykket stor, betyder det, at der er en stor mængde rumlig autokorrelation, eller er den rumlige autokorrelation 'redegjort for', og den forklarende effekt kommer fra miljøeffekter, der korrelerer geografisk?
Vilkårene i modellen indgår i beregningen af ​​de rumlige korrelationer. Modellen bestemmer dem.
@Michael, rumlig autokorrelation betyder, at korrelationen mellem punkter afhænger af deres geografiske placering. Jeg tror, ​​at dette svar ville være mere nyttigt, hvis du kunne forklare, hvorfor du bruger et glat funktionsestimat med de geografiske placeringer som input, der tegner sig for dette. På overfladen ser det ud til, at den glatte funktionstilgang modellerer _mean_, mens rumlig autokorrelation henviser til _covariance_-strukturen. Jeg ved, at der er et forhold mellem kovariansfunktionen i en jævn proces og skøn funktionsestimering, men uden denne forbindelse synes dette svar ufuldstændigt.
@Macro Jeg kan ikke se, hvad der mangler i svaret. Jeg tror ikke, at funktionens glathed har noget at gøre med det. Det er bare, at en funktion, der relaterer et punkt i x-y-planet med andre, bestemmer de rumlige korrelationer.
@Michael, kan du helt sikkert se, at det at få de lat / lange koordinater til at påvirke middelværdien er forskellig fra modellering af korrelationerne mellem to punkter i rummet ... OP spurgte, hvordan man skal modellere _spatial autocorrelation_, og jeg synes, en del af argumentet - den del, der forklarer nøjagtigt hvordan montering af en glat rumlig overflade (hvilket er hvad en generaliseret additivmodel i koordinaterne ville gøre) modellerer den rumlige autokorrelation. Der er et forhold mellem gams og kovariansfunktioner (jeg ved ikke nok til at være mere præcis), men det appellerer til det forhold synes at være det, der kræves her.
@Macro I GAM er `s (x, y)` der for at modellere den geografiske afhængighed og vil derfor, hvis det lykkes, efterlade resterne i.i.d.
@GavinSimpson, for posten, jeg er temmelig sikker på, at hvad OP foreslår er en rimelig ting at gøre, men jeg har aldrig hørt et formelt argument for, hvorfor modellering af den rumlige tendens _i gennemsnit_ er tilstrækkelig til at modellere rumlig autokorrelation på samme måde som du kan med en ordentlig rumlig tilfældig effektmodel. Simon Wood har på nogle `R` msg-tavler nævnt, hvordan dette svarer til en tilfældig effektmodel, men der gives ingen detaljer. Jeg tror, ​​at _nog_ indikation af forbindelsen er nødvendig for at besvare spørgsmålet "Hvorfor medtager rumlig autokorrelation at inkludere breddegrad og længdegrad i en GAM?".
@Macro Funktionen s antager at modellere interaktionen mellem x- og y-koordinaterne. Det er ikke bare et gennemsnit. Så det fortæller, hvordan punktet (x $ _1 $, y $ _1 $) påvirker værdien af ​​responsoverfladen ved punktet (x $ _2 $, y $ _2 $).
@Macro Hvis den geografiske afhængighed er systematisk i den forstand, at $ E (y_i) $ varierer med den geografiske placering, er det helt rimeligt at gøre, som OP antyder, og modellere denne afhængighed som en rumlig trendoverflade. Jeg indrømmer, at jeg ikke er fortrolig med rumlige tilfældige effekter. Der er en sammenhæng mellem den straffede regression spline repræsentation af `s (x, y)` i ** mgcv ** & en model med blandede effekter, da sanktionerne på den glatte kan ses som tilfældige effekter.
@GavinSimpson, Jeg kender din erklæring *** "her er en forbindelse mellem den straffede regression spline repræsentation af s (x, y) i mgcv & en model med blandede effekter, da sanktionerne for den glatte kan ses som tilfældige effekter." *** er korrekt, men jeg har problemer med at finde en god reference til dette. Kender du til en?
@GavinSimpson, nevermind, jeg fandt en :) Hvis du er nysgerrig: ** B.A. Brumback og J.A. Ris (1998). Udjævning af spline-modeller til analyse af indlejrede og krydsede prøver af kurver (med diskussion). Journal of the American Statistical Association 93, 961-994. **
@Marco Jeg vil se på Simon Woods [bog] (http://www.amazon.co.uk/Generalized-Additive-Models-An-Introduction/dp/1584884746/ref=sr_1_1?ie=UTF8&qid=1351017637&sr= 8-1) hvis du kan, da det har detaljerne, og citerer den relevante litteratur om smooths som tilfældig effektbit.
Tak for dette forslag @GavinSimpson, Jeg stødte faktisk på denne bog for nylig. Det har været meget nyttigt.


Denne spørgsmål og svar blev automatisk oversat fra det engelske sprog.Det originale indhold er tilgængeligt på stackexchange, som vi takker for den cc by-sa 3.0-licens, den distribueres under.
Loading...