Non, mais oui et non.
Ce que l'on appelle communément décalage ' est la latence entre le client et le serveur, ou en d'autres termes, la corrélation du temps qu'il faut pour qu'un paquet (données) soit échangé du serveur au client. Cela ne change pas lorsque vous avez un paquet plus important. (Dans ce cas : Taille du monde)
Mais oui, alors que le décalage n'augmente pas, les paquets plus volumineux prennent plus de temps (il y a plus de données à transférer, mais la vitesse ne change pas). Même vitesse, plus de données = plus de temps).
Et non. le temps ne va pas vraiment augmenter. En théorie, le temps augmente, mais en pratique, à moins qu'il ne s'agisse d'un paquet ridiculement énorme, vous ne remarquerez même pas que le transfert prend une miliseconde de plus.
En d'autres termes, le fait d'avoir un serveur plus petit réduira le temps de chargement, mais l'effet sera si faible qu'il sera à peine perceptible.