Es wurde 1521 erbaut und diente als erste Festung der Insel San Juan. Es war die Residenz von Juan Ponce de León und seiner Familie sowie seiner Cousins, obwohl de Leon bei einer Expedition nach Florida starb, ohne jemals die Struktur besetzen zu können. Es diente bis Mitte des 18.Jahrhunderts als Wohnsitz seiner Nachkommen.
Als Festung diente es vor allem als Zuflucht in Zeiten des Angriffs von Taino-Rebellen. Die kurze Rebellion endete friedlich, nachdem eine Kommission von Caciques (Häuptlingen) Frieden ausgehandelt hatte. Das Haus wurde in Holz gebaut, aber durch einen Brand zerstört und in Stein und Mauerwerk wieder aufgebaut.Casa Blanca, es war die erste Residenz des Gouverneurs in PR, als die Hauptstadt 1521 auf die Insel San Juan verlegt wurde. Renoviert entlang 500 Jahre war es die Residenz der Gouverneure bis Mitte der 1700er Jahre, als die Burg-Festung von St. Katharina modernisiert wurde und wurde zu einem tatsächlichen Residenz-Palast dann wieder getauft Königlichen Standort des Palastes von St. Katharina von Siena. Nach dem Umzug des Gouverneurs an das Ende der Straße, nach Fortaleza, hielt Casa Blanca mit seinen wunderschönen Balkonen und Veranden im Kanarischen Stil die Bruderschaft der Königlichen Artillerieoffiziere (Real Cofradía de Artillería) sowie den offiziellen Sitz für die Garde de Corps, für die spanischen Ritterorden: Santiago, Calatrava, Montesa und Alcántara; für die militärischen Ritter d. H. San Hermenegildo, den Souveränen Johanniterorden von Malta und den Päpstlichen Ritterorden vom Heiligen Grab von Jerusalem. Es wurde bis nach dem Zweiten Weltkrieg zunehmend nicht mehr genutzt. Es wurde vom Puerto Rican Institute of Culture gerettet. Die umliegenden Gärten wurden im 20.Jahrhundert von General Brooks, dem ersten amerikanischen Militärgouverneur der Insel, angelegt.
1967 wurde der Komplex an die Regierung von Puerto Rico übergeben und zum historischen Denkmal erklärt. Im Jahr 1981 wurde es in der Historic American Buildings Survey aufgezeichnet. Heute ist das Haus ein Museum für Artefakte aus dem 16. und 17.Jahrhundert, das vom Institut für puertoricanische Kultur verwaltet wird.