Ok, je suis tombé sur cette solution, de plusieurs façons, certains semblent être tombés dessus et être arrivés à une conclusion erronée, mais ce qui se passe réellement est le suivant :
Lors de l'équipement d'une armure spécifique à une faction, si vous ne l'enlevez pas d'abord (en cliquant dessus) AVANT de la ranger ou de mettre TOUTE autre armure, vous risquez d'être "bloqué" sur l'association de faction même si vous ne la portez pas.
Solution : Rééquipez l'armure de faction, puis déséquipez-la. Si vous ne savez pas avec quelle armure de faction vous avez fait ce "bug", équipez toutes les armures spécifiques de faction et déséquipez-les une par une (khan, légion, ncr, etc.). Une seule pièce de chaque armure est nécessaire pour mettre le paramètre à 0.
Bug secondaire : Cela peut aussi vraiment foutre en l'air le classement de votre faction lorsque vous tuez d'autres choses (plusieurs fois la Légion a été neutre pour moi, bien que je les tue dès que j'en ai l'occasion).