Fue un famoso aficionado a las artes plásticas, nacido en Iowa, Estados Unidos, en 1928, más tarde en su vida viajo por Europa, radicando seis años en Venecia, donde se relacionó con un grupo de importantes artistas que solían reunirse con la famosa Peggy Guggenheim, con quien entablo una gran amistad.
A finales de los años cincuenta llega a México y es en 1961, que fascinado por Cuernavaca compra la Casa de la Torre, que se encuentra a un costado de la Catedral de Cuernavaca y que alguna vez albergara el observatorio meteorológico del antiguo Seminario Franciscano del Siglo XVI, dado el deterioro de la propiedad, comenzó la ardua labor de restauración que le tomaría 24 años en concluir, respetando los cánones de la arquitectura colonial.
Brady pasaba gran parte del año esta casa dedicando su tiempo a pintar y diseñar tapices, los cuales se tejían en Chiconcuac. El resto del tiempo viajaba por el mundo, incrementando su gran colección de arte que incluye piezas de todos los continentes.
Robert Brady murió el 20 de junio de 1986 en su casa de Cuernavaca, y dejó como última voluntad que la Casa de la Torre quedara abierta al público como museo.
