John Mueller di Google, ha pubblicato un utile promemoria sulla sua pagina Google+ in merito alle dimensioni massime di un file robots.txt.
E’ consigliabile infatti che tale file non superi i 500Kb. File di dimensioni più grandi potrebbero infatti causare problemi e “confondere” il bot di Google e questa non è sicuramente una cosa auspicabile ;)
Tale problema ovviamente riguarda solo un numero limitato di siti, non credo infatti che la maggior parte dei webmaster abbia a che fare con file robots.txt di questa dimensione.