Caret-pakken kan hjælpe dig med at optimere parametervalget til dit problem. CaretTrain-vignetten viser, hvordan man indstiller gbm-parametrene ved hjælp af 10 gange gentagen krydsvalidering - andre optimeringsmetoder er tilgængelige, det kan alle køre parallelt ved hjælp af foreach-pakken. Brug vignette ("caretTrain", package = "caret") til at læse dokumentet.

Pakken understøtter tuning krympning , n. træer og interaktion.depth parametre til gbm-modellen, selvom du kan tilføje din egen.

For heuristikker er dette min første tilgang:

krympning : Så lille som du har tid til (gbm-manualen har mere om dette, men generelt kan du aldrig gå galt med en mindre værdi). Dit datasæt er lille, så jeg vil sandsynligvis starte med 1e-3

n.trees : Jeg vokser normalt en indledende model, der tilføjer flere og flere træer indtil gbm. perf siger, at jeg har nok (faktisk til 1,2 gange den værdi) og derefter bruge det som en vejledning til yderligere analyse.

interaktion.dybde : du allerede har en idé om dette. Prøv også mindre værdier. Maksimal værdi er etage (sqrt (NCOL (data)).

n.minobsinnode : Jeg finder det virkelig vigtigt at indstille denne variabel. Du vil ikke have den så lille, at algoritmen finder for mange falske funktioner.