Construite en 1521, elle a servi de première fortification de l’îlot San Juan. C’était la résidence de Juan Ponce de León et de sa famille, ainsi que de ses cousins, bien que de Leon soit mort lors d’une expédition en Floride sans jamais avoir pu occuper la structure. Il a été utilisé comme résidence de ses descendants, jusqu’au milieu du 18ème siècle.
En tant que fortification, il servait surtout de refuge en période d’attaque des rebelles Taïnos. La courte rébellion s’est terminée pacifiquement après qu’une commission de Caciques (chefs) eut négocié la paix. La maison a été construite en bois mais a été détruite par un incendie et reconstruite en pierre et en maçonnerie.
Casa Blanca, c’était la première résidence du gouverneur de PR lorsque la capitale a été déplacée sur l’îlot de San Juan en 1521. Rénové pendant 500 ans, il a été la résidence des gouverneurs jusqu’au milieu des années 1700, lorsque le Château-Forteresse de Sainte-Catherine a été modernisé et est devenu une véritable résidence-Palais puis rebaptisé Site Royal du Palais de Sainte-Catherine de Sienne. Après le déménagement du gouverneur au bout de la rue, à Fortaleza, Casa Blanca, avec de beaux balcons et vérandas de style Canarien, abritait la Confrérie Royale des Officiers d’Artillerie (Real Cofradía de Artillería), ainsi que le Siège Officiel des Gardes de Corps, des Ordres de Chevalerie Espagnols: Santiago, Calatrava, Montesa et Alcántara; pour les chevaliers militaires, c’est-à-dire San Hermenegildo, l’Ordre Souverain de Saint-Jean de Malte et l’Ordre Équestre Pontifical du Saint-Sépulcre de Jérusalem. Il était de plus en plus en désuétude jusqu’après la Seconde Guerre mondiale. Il a été sauvé par l’Institut Portoricain de la culture. Les jardins environnants ont été plantés par le général Brooks, premier gouverneur militaire américain de l’île au 20ème siècle.
En 1967, le complexe a été transféré au gouvernement de Porto Rico et déclaré monument historique. En 1981, il a été enregistré dans l’Historic American Buildings Survey. Aujourd’hui, la maison est un musée d’artefacts des XVIe et XVIIe siècles géré par l’Institut de la culture portoricaine.