Problemet er bestemt hårdt .

Mekaniske regler som +/- N1 gange standardafvigelser eller + / N2 gange MAD eller +/- N3 IQR eller ... vil mislykkes, fordi der altid er nogle serier, der er forskellige som for eksempel:

• fikseringer som interbankrente kan være konstante i et stykke tid og spring så pludselig
• på samme måde for f.eks visse udenlandske børser, der kommer ud af en pinde
• visse instrumenter er implicit spredt; disse kan være nær nul i perioder og pludselig hoppe manifold

Har været der, gjort det, ... i et tidligere job. Du kan prøve at parentesere hver serie ved hjælp af arbitrage forhold skibe ( f.eks forudsat at USD / EUR og EUR / JPY formodes at være gode, kan du udarbejde bånd omkring, hvad USD / JPY skal være; ligeledes for derivater fra en underliggende osv. s.

Kommercielle dataleverandører udvider en vis indsats for dette, og de af brug, der er deres klienter, ved ... det udelukker stadig ikke fejl.

Jeg tilføjer nogle papirreferencer, når jeg er tilbage på en computer, men her er nogle enkle forslag:

Start absolut med at arbejde med retur. Dette er afgørende for at håndtere den uregelmæssige afstand, hvor du naturligvis kan få store prisforskelle (især omkring weekender). Derefter kan du anvende et simpelt filter for at fjerne returneringer langt uden for normen (f.eks. Vs et stort antal standardafvigelser). Afkastet vil tilpasse sig det nye absolutte niveau, så store reelle ændringer vil kun resultere i tab af kun et kryds. Jeg foreslår, at du bruger et to-pass filter med returneringer taget fra 1 trin og n trin til at håndtere klynger af outliers.

Rediger 1: Med hensyn til brug af priser snarere end afkast: aktivpriserne har tendens til ikke at være stationære, så IMO, der kan udgøre nogle yderligere udfordringer. For at redegøre for uregelmæssigheder og magtretlige virkninger vil jeg anbefale en form for justering, hvis du vil medtage dem i dit filter. Du kan skalere prisændringerne efter tidsintervallet eller efter volatilitet. Du kan henvise til "realiseret volatilitet" litteratur for nogle diskussioner om dette. Også diskuteret i Dacorogna et. al.

For at tage højde for ændringerne i volatiliteten kan du prøve at basere din volatilitetsberegning fra samme tidspunkt på dagen i løbet af den sidste uge (ved hjælp af sæsonbetinget).

Jeg har (med en vis forsinkelse) ændret mit svar for at afspejle din bekymring over manglen på 'tilpasningsevne' hos den ubetingede gale / median.

Du kan løse problemet med tidsvarierende volatilitet med den robuste statistisk ramme. Dette gøres ved at bruge en robust estimator af den betingede varians (i stedet for den robuste estimator for den ubetingede afvigelse, som jeg foreslog tidligere): M-estimeringen af ​​GARCH-modellen. Derefter får du et robust tidsvarierende skøn på $ (\ hat {\ mu} _t, \ hat {\ sigma} _t) $, som ikke er de samme som dem, der produceres ved den sædvanlige GARCH-pasform. Især er de ikke drevet af nogle få fjerntliggende outliers. Da disse skøn ikke er drevet af dem, kan du bruge dem til pålideligt at markere afvigende ved hjælp af den historiske fordeling af

$$ \ frac {x_t- \ hat {\ mu} _t} {\ hat { \ sigma} _t} $$

Du kan finde flere oplysninger (og et link til en R-pakke) i dette papir:

Boudt , K. og Croux, C. (2010). Robust M-estimering af multivariate GARCH-modeller.