J'ai un problème similaire avec quelques amis qui participent à une partie hebdomadaire de pathfinder que je dirige. Deux d'entre eux savent très bien comment min-maxer et optimiser leur jeu mais choisissent de ne pas le faire pour des raisons de saveur (ou du moins limitent leur absurdité), et deux autres ne savent pas comment ne pas min-maxer.
Pour donner un exemple rapide, lorsque je demande aux deux qui se restreignent un peu quel genre de personnage ils veulent jouer, j'obtiens des réponses simples et souvent banales : Voleur qui a de la malchance et a besoin de trouver du travail, ou Clerc essayant d'être missionnaire dans des contrées inconnues. Lorsque je pose la même question aux deux autres, ils commencent à demander "quels livres sont autorisés, des races spéciales, puis-je avoir cette capacité imprimée dans tel ressource tierce?". Et si je dis "non, pas la classe... juste quel genre de personnage avez-vous en tête... comme l'arrière-plan... ou l'histoire?" Je reçois des soupirs et des réponses brèves disant "je ne peux pas inventer une histoire ou un contexte pour un personnage qui n'existe pas encore... J'ai besoin de stats et de capacités et je créerai une histoire pour expliquer pourquoi je les ai!"
À mon avis, ces deux derniers dans mon groupe privilégient les règles et la structure à l'histoire ou au sentiment narratif de la campagne entièrement. Pour moi, il semble un peu paradoxal de "créer une histoire pour des capacités" car j'ai appris que dans DnD je devrais "choisir des classes/capacités qui correspondent à mon concept de personnage".
Maintenant, revenons au problème de l'OP... Il semble que vous pourriez rencontrer le même type de chose dans votre partie. Vos joueurs ne traitent pas le jeu que vous dirigez comme une expérience narrative ou une histoire où ils sont les personnages principaux, ils le traitent comme un jeu de société hack-n-slash où les personnages optimisés et les tactiques de munchkin-combo, pour ne pas avoir de meilleure façon de le dire, sont comment ils gagnent. En fin de compte, il n'existe pas de "règles complexes mais équilibrées" pour résoudre ce problème. Si vous brossez les chiffres et prenez en compte autant de données que possible, il y aura toujours une combinaison de règles ou une construction spécifique qui sera suffisamment "optimale" pour transformer un "combat équitable" tel que mené par un DM compétent en "charge/attaque/victoire.
Outre le fait d'essayer de changer l'ambiance ou la mentalité de vos joueurs avec les nombreuses options bien réfléchies ci-dessus, qui ne nécessitent pas de livre de règles, je vous suggère de prendre les règles alternatives de vitalité/blessures et de les modifier à votre goût. Ce faisant, j'ai créé un environnement beaucoup plus dangereux dans ma partie et cela a entraîné un jeu beaucoup plus "prudent" qui nécessite un peu de planification et d'habileté tactique de la part de mes joueurs. Le système de blessures peut être accompagné de règles de blessures permanentes ou quelque chose de similaire, pour ajouter un peu de gravité au combat dans un jeu. Je trouve que lorsque les joueurs adoptent une mentalité selon laquelle être poignardé par un géant avec une grande épée "n'est pas grave car ils ont toujours la moitié de leurs PV", ils ont besoin d'un réveil. Ce réveil se manifeste sous la forme de pénalités aux scores de capacités, de ralentissements de vitesse et d'une efficacité au combat réduite qui est un "fardeau" pour les autres à corriger ou à soigner. La pression sociale se met en marche et, à un niveau subconscient, les joueurs commencent à s'inquiéter de se faire "blessés" car cela ralentira les choses, ce qui se traduit par quelque chose qui ressemble à une "véritable préoccupation pour le bien-être de leur personnage".
L'objectif ultime devrait être de trouver un équilibre entre le défi et le plaisir, sans que les joueurs ne ressentent de ressentiment ou ne se fâchent lorsque leur choix d'action se traduit par une perte ou la mort. La deuxième partie est plus difficile car elle dépend davantage de la maturité et de l'état émotionnel du joueur. Je peux vous assurer que c'est beaucoup plus facile lorsque l'on traite avec des joueurs qui investissent un peu dans la personnalité et le comportement de leurs personnages, s'ils ont toujours la même réaction "charge/attaque/tue" dans toutes les situations, ils peuvent ne pas être capables de gérer lorsque les choses tournent mal. Ils blâmeront les règles, ou la situation dans laquelle le DM les met, ou diront carrément "c'est injuste".
Je pourrais me tromper complètement dans mon interprétation de votre question ou peut-être la motivation derrière le souhait de changer l'approche de vos joueurs. J'ai un peu lu le problème global comme étant que "vos joueurs ne semblent pas apprécier du tout le danger d'une situation" et "comment puis-je les amener à avoir une réelle préoccupation pour leur bien-être afin qu'ils ne foncent dans la porte à chaque occasion?".