"Hé les gars, je suis désolé, mais je ne suis pas aussi intéressé par ces jeux que vous, alors plutôt que de gâcher le plaisir de tout le monde, c'est probablement mieux pour moi de ne pas être un joueur régulier."
Si vous les appréciez en tant qu'amis, vous pouvez également ajouter : "Mais cela ne veut pas dire que nous ne devons pas avoir de relations sociales : allons voir un film ou jouer à un jeu de société ou autre, un jour", et ensuite suivre vous-même et essayer d'organiser un événement social du type suggéré.
Si tout cela est trop gênant, vous pouvez aussi fournir un prétexte raisonnable, véridique, "également une raison" : "le trajet est trop long", ou "le travail est trop prenant en ce moment", ou "ma femme et moi pensons qu'il est plus important pour nous deux de passer plus de temps à la maison avec nos enfants en ce moment". Ce qui est important dans ce dernier cas, c'est qu'il doit vraiment s'agir d'un facteur contribuant à votre manque de plaisir, et être raisonnable. Sinon, vous aurez l'impression d'être dans la logique du "c'est moi, pas toi".