batchstørrelse definerer antallet af prøver, der skal formeres gennem netværket.

Lad os for eksempel sige, at du har 1050 træningseksempler, og at du vil oprette en batch_size svarende til 100. Algoritmen tager de første 100 prøver (fra 1. til 100.) fra træningsdatasættet og træner netværket. Derefter tager det de anden 100 prøver (fra 101. til 200.) og træner netværket igen. Vi kan fortsætte med at gøre denne procedure, indtil vi har udbredt alle prøver gennem netværket. Problem kan opstå med det sidste sæt prøver. I vores eksempel har vi brugt 1050, som ikke kan deles med 100 uden resten. Den enkleste løsning er bare at hente de sidste 50 prøver og træne netværket.

Fordele ved at bruge en batchstørrelse < antal af alle prøver:

• Det kræver mindre hukommelse. Da du træner netværket ved hjælp af færre prøver, kræver den samlede træningsprocedure mindre hukommelse. Det er især vigtigt, hvis du ikke er i stand til at passe hele datasættet i din maskins hukommelse.

• Netværk træner typisk hurtigere med mini-batches. Det er fordi vi opdaterer vægtene efter hver formering. I vores eksempel har vi udbredt 11 batcher (10 af dem havde 100 prøver og 1 havde 50 prøver), og efter hver af dem har vi opdateret vores netværks parametre. Hvis vi brugte alle prøver under udbredelse, foretog vi kun 1 opdatering til netværksparameteren.

Ulemper ved at bruge en batchstørrelse < antal af alle prøver:

• Jo mindre batch, jo mindre nøjagtigt bliver estimatet af gradienten. I figuren nedenfor kan du se, at retningen af ​​mini-batch-gradienten (grøn farve) svinger meget mere sammenlignet med retningen af ​​den fulde batchgradient (blå farve).

Stokastisk er bare en mini-batch med batch_size svarende til 1. I så fald ændrer gradienten sin retning endnu oftere end en mini-batch-gradient.

I den neurale netværksterminologi:

• en epoke = en fremadgående pasning og en bagudgående pasning af alle træningseksemplerne
• batchstørrelse = antallet af træningseksempler i en fremad / bagudpasning. Jo højere batchstørrelse, desto mere hukommelsesplads har du brug for.
• antal iterationer = antal passeringer, hvert pass ved hjælp af [batchstørrelse] antal eksempler. For at være klar, en pas = en pas frem + en baglæns pas (vi tæller ikke den fremadgående og den bagudgående pas som to forskellige pas).

Eksempel: hvis du har 1000 træningseksempler , og din batchstørrelse er 500, så tager det 2 iterationer at gennemføre 1 epoke.

FYI: Tradeoff batchstørrelse vs. antal iterationer for at træne et neuralt netværk

Når du løser et optimeringsproblem med en CPU eller en GPU, anvender du iterativt en algoritme over nogle inputdata.I hver af disse gentagelser opdaterer du normalt en måling af dit problem ved at lave nogle beregninger på dataene.Nu når størrelsen på dine data er stor, kan det have brug for en betydelig mængde tid til at fuldføre hver iteration og kan forbruge en masse ressourcer.Så nogle gange vælger du at anvende disse iterative beregninger på en del af dataene for at spare tid og beregningsressourcer.Denne del er batch_størrelse, og processen kaldes (i Neural Network Lingo) batch databehandling.Når du anvender dine beregninger på alle dine data, udfører du online databehandling.Jeg antager, at terminologien kommer fra 60'erne og endnu før.Kan nogen huske .bat DOS-filerne?Men selvfølgelig er begrebet inkarneret til at betyde en tråd eller del af de data, der skal bruges.

Dokumentationen til Keras om batchstørrelse findes under fit -funktionen på siden Modeller (funktionel API)

batch_size : Heltal eller Ingen.Antal prøver pr. Gradientopdatering. Hvis ikke specificeret, er batch_size som standard 32.

Hvis du har et lille datasæt, ville det være bedst at gøre batchstørrelsen lig med størrelsen på træningsdataene.Forsøg først med et lille parti, og øg derefter for at spare tid.Som itdxer nævnte, er der en kompromis mellem nøjagtighed og hastighed.

Batchstørrelse er et hyperparameter, der definerer antallet af prøver, der skal arbejdes med, inden de interne modelparametre opdateres.