La beauté de Skyrim, c'est que vous pouvez faire ce que vous voulez (bien sûr, il y a des conséquences pour certaines actions), mais cela dit, vous pouvez prendre la route que vous voulez, si vous constatez qu'au niveau inférieur vous manquez simplement de magie, alors prenez un poignard (si vous voulez rester avec de petites armes).
En fin de compte, tout dépend de la façon dont vous voulez jouer. En général, il est plus difficile de jouer en tant que mage "pur" (dans la plupart des jeux, pas seulement Skyrim), car le personnage porte généralement une armure légère ou pas d'armure du tout, et vous devez de plus en plus compter sur vos sorts.
De plus, le 'Collège de Winterhold' est simplement un endroit que vous pouvez visiter, mais vous pouvez acquérir des sorts au fur et à mesure que vous progressez dans le (très très) grand monde de Skyrim.
Cela dit, il n'y a vraiment pas de bonne réponse à votre question, si vous voulez aller au collège, allez-y, si vous voulez investir dans une armure / des armes, allez-y. Vous pouvez faire ce que vous voulez.
Mon personnage est un archer portant une armure lourde (je suis juste tombé amoureux des arcs après un certain temps), en plus je reviens à un bouclier et une épée en combat rapproché.