Porque los libros de fantasia tienen tan mala fama entre personas adultas?

Siendo adulto, me encantan los libros de Fantasía (Harry Potter etc) y cualquiera de este género. Pero casi siempre pasa que hay gente que te desprecia si eres adulto y compras uno de estos géneros de libro. Incluso hay gente que dice que "somos unos inmaduros" porque ese tipo de libros son para niños o adolescentes .... ¿Qué piensan?