Sua mãe detinha a posse direta do bem, enquanto seu avô detém a posse indireta (decorrente da propriedade), na forma do que estabelecem os artigos 1196 e 1197 do Código Civil:

Art. 1.196. Considera-se possuidor todo aquele que tem de fato o exercício, pleno ou não, de algum dos poderes inerentes à propriedade.

Art. 1.197. A posse direta, de pessoa que tem a coisa em seu poder, temporariamente, em virtude de direito pessoal, ou real, não anula a indireta, de quem aquela foi havida, podendo o possuidor direto defender a sua posse contra o indireto.

A posse, contudo, se transmite aos herdeiros, mantendo as mesmas características originárias, na forma do artigo 1206, do Código Civil:

Art. 1.206. A posse transmite-se aos herdeiros ou legatários do possuidor com os mesmos caracteres.

Portanto, para saber-se se há o direito a reavê-la pelo proprietário, é necessário, antes de tudo, saber a causa da posse exercida pela pessoa falecida. Havia contrato que lhe autorizava a posse? Havia algum acordo expresso ou tácito para o uso do bem? Comodato? Locação? Cessão de uso? Havia prazo para a utilização? Houve notificação para desocupação do imóvel em prazo razoável?

A partir dessa análise é que é possível melhor definir a questão.

Contudo, considerando-se que a posse não afasta o direito do proprietário sobre o bem, decorrido o prazo pelo qual se cedeu a posse, ou, se por prazo indeterminado, decorrido o prazo estabelecido em notificação para desocupação, poderá o proprietário reaver a posse direta do bem, através da ação judicial cabível (reintegração de posse).

Nesta circunstância, o melhor é conversar amigavelmente, tentando encontrar uma solução amigável para o caso, que atenda e acomode os interesses de todos os envolvidos.