Absolument
Le SRD indique clairement (que vous soyez un Tavern Brawler ou non) que :
...vous pouvez utiliser une frappe non armée : un coup de poing, un coup de pied, un coup de tête ou un coup violent similaire (aucun de ces coups ne compte comme une arme). En cas de succès, une frappe sans arme inflige dégâts de matraquage égaux à 1 + votre modificateur de Force.
(c'est moi qui souligne)
Et quand vous prenez le feat. Tavern Brawler :
Vos frappes sans arme utilisent un d4 pour les dégâts.
Cela signifie que le " 1 " de la formule ci-dessus (les dégâts de base) devient 1d4 - il n'est pas dit que cela enlève le modificateur de Force, donc vous conservez ce modificateur.