Construida en 1521, sirvió como la primera fortificación del islote de San Juan. Fue la residencia de Juan Ponce de León y su familia, y también de sus primos, aunque de León murió en una expedición a Florida sin llegar a ocupar la estructura. Fue utilizada como residencia de sus descendientes, hasta mediados del siglo XVIII.
Como fortificación sirvió principalmente como refugio en tiempos de ataque de los rebeldes taínos. La breve rebelión terminó pacíficamente después de que una comisión de Caciques negociara la paz. La casa fue construida en madera, pero fue destruida por el fuego y reconstruida en piedra y mampostería.
Casa Blanca, fue la primera residencia del gobernador en PR cuando la capital se trasladó al Islote de San Juan en 1521. Reformado a lo largo de 500 años, fue la residencia de los gobernadores hasta mediados de la década de 1700, cuando el Castillo-Fortaleza de Santa Catalina se modernizó y se convirtió en una residencia-Palacio real, luego rebautizada como Sitio Real del Palacio de Santa Catalina de Siena. Después de que el gobernador se trasladara al final de la calle, a Fortaleza, Casa Blanca, con hermosos balcones y terrazas de estilo canario, albergaba la Real Cofradía de Artillería, además de ser Sede Oficial de los Guardias de Cuerpo, de las Órdenes de Caballería Españolas: Santiago, Calatrava, Montesa y Alcántara; de los caballeros militares, es decir, San Hermenegildo, la Soberana Orden de San Juan de Malta y la Pontificia Orden Ecuestre del Santo Sepulcro de Jerusalén. Estuvo cada vez más en desuso hasta después de la Segunda Guerra Mundial. Fue rescatado por el Instituto Puertorriqueño de Cultura. Los jardines circundantes fueron plantados por el General Brooks, el primer gobernador militar estadounidense de la isla en el siglo XX.
En 1967, el complejo fue transferido al gobierno de Puerto Rico y declarado monumento histórico. En 1981, se registró en la Encuesta de Edificios Históricos de Estados Unidos. Hoy en día, la casa es un museo de artefactos de los siglos XVI y XVII administrado por el Instituto de Cultura Puertorriqueña.