Il n'y a pas vraiment de réponse "correcte", en termes de règles de jeu officielles. Cela dépend entièrement de la convivialité et de la décontraction de votre groupe de jeu. Dans le cadre d'un tournoi, une telle chose devrait être clarifiée dans les règles du tournoi ; sinon, un juge devrait être informé de la situation et prendre une décision.
Mon groupe de jeu a presque toujours tendance à suivre cette règle de base : si aucun autre joueur n'a effectué une action qui vous a révélé une nouvelle information après que vous ayez effectué votre mouvement, vous êtes toujours libre d'annuler votre mouvement. Notez que cette action peut être aussi simple qu'un "ouf, content que tu y sois allé !" ou une action de jeu réelle telle que jouer une carte.
Dans votre cas, je pense que la règle s'applique. Comme le nombre de cartes en main est de toute façon connu de tous dans le jeu, vous n'avez pas fait d'action qui révèle une nouvelle information (montrer que vous n'avez pas de cartes ne devrait pas être considéré comme une nouvelle information).
En principe, vous êtes libre d'appliquer les règles que vous décidez... souvent, en cas d'incertitude dans de telles situations, nous procédons à un vote parmi les joueurs, et nous voyons qui est d'accord pour autoriser la reprise. Il n'y a rien de "mal" à une règle qui dit "tu as enlevé ta main, donc le jeu est finalisé", mais à mon avis cela diminue la convivialité générale et donc le plaisir global du jeu.