Je pense que vous posez en réalité deux questions distinctes. La première est : "Quel est l'ordre des différents effets de réduction / pénétration de la RM ?"
La réponse à cette question est relativement simple.
Réduction de l'armure/de la résistance
Armure/MR basée sur le % Réduction
Armure/MR basée sur le % Pénétration
Armure plate/linéaire/Pénétration des rayons X
Pour répondre à la question, le passif de Fiddlesticks est d'abord appliqué à Ashe, ce qui réduit sa résistance à la magie à 20. Ensuite, les effets du Sceptre Abyssal sont calculés, réduisant la RM d'Ashe de 20, la mettant à 0. Enfin, la pénétration plate des Chaussures du Sorcier et de la Guise Hantée est prise en compte - mais Ashe est déjà à 0 RM, il n'y a donc pas d'autre RM à "pénétrer".
La pénétration ne peut jamais ramener les défenses d'un champion en dessous de zéro.
Ainsi, dans le scénario ci-dessus, les sorts infligent 100 % des dégâts, soit la totalité des 100 dégâts dans votre exemple.
Pour répondre à votre deuxième question, sur le cas général des résistances magiques négatives (possibles sur les creeps de la jungle, et dans certains jeux avec Karthas / Soraka / Kayle, etc), je vous invite à ne pas chercher plus loin que cette question .
Les effets des défenses négatives sont exactement les mêmes que les effets des défenses positives* - linéaires. En résumé, cela signifie qu'un Sceptre abyssal augmentera le DPS de vos sorts du même montant, que le champion commence avec 100 MR ou -100.
*La formule elle-même est différente, car le calcul de l'armure ne gère pas bien les valeurs négatives, mais le résultat final est une continuation de l'échelle linéaire de l'armure.