Ça dépend où vous le visez.
Contrairement à ce que l'on pourrait croire, les murs en bois (surtout ceux utilisés pour construire des choses) ne sont pas super inflammables. Le bois non traité a un point d'éclair de 300 C, soit environ 80 degrés de plus que la température nécessaire pour enflammer du papier. Cela signifie qu'il faut un feu très long ou très chaud pour que le bois s'enflamme. Pensez-y de cette façon : si un mur était inflammable, le simple fait d'avoir une torche dans une applique sur le mur finirait par enflammer le mur. Comme cela ne se produit pas vraiment, nous pouvons supposer que les murs sont au moins modérément résistants au feu.
Si vous lancez des mains brûlantes sur un mur, celui-ci sera certainement brûlé et pourra produire quelques étincelles. Il est peu probable qu'il s'envole dans une nappe de flammes.
Cependant : Les toitures, surtout celles du pseudo-moyen-âge, ne sont probablement pas faites de matériaux ignifuges. Le chaume s'allume mieux que le bois d'allumage, et le goudron est lui aussi raisonnablement inflammable. À titre de comparaison : le point d'éclair du papier est d'environ 230 C, celui du goudron se situe entre 100 et 300, selon sa composition. Si vous dirigez des mains brûlantes vers le toit, le bâtiment s'enflammera très rapidement.
A ce jour, nous n'avons pas de règles solides pour endommager les objets dans la 5ème édition, puisque le DMG n'est pas encore sorti. Nous pouvons cependant nous inspirer des éditions précédentes pour nous guider. En 3.5, le bois avait une dureté de 5, et prenait probablement la moitié des dégâts du feu, puisque c'est un objet. Une main brûlante de 5e niveau faisait en moyenne 12,5 points de dégâts. 12,5/2 - 5 = 1,25 points de dégâts par attaque. Cela signifie qu'il faudrait 8 sorts par pouce d'épaisseur pour brûler le bois, ce qui implique fortement qu'il ne sera pas trop affecté par les flammes.