zbudowany w 1521 roku, służył jako pierwsza fortyfikacja wysepki San Juan. Była to rezydencja Juana Ponce de Leóna i jego rodziny, a także jego kuzynów, chociaż de Leon zginął podczas wyprawy na Florydę, nigdy nie zajmując budowli. Był używany jako rezydencja jego potomków, aż do połowy XVIII wieku.
jako fortyfikacja służyła głównie jako schronienie w czasach ataku rebeliantów Taino. Krótki bunt zakończył się pokojowo po tym, jak Komisja Caciques (wodzów) wynegocjowała pokój. Dom został zbudowany w drewnie, ale został zniszczony przez pożar i odbudowany w kamieniu i murze.
Casa Blanca, była pierwszą rezydencją gubernatora w PR, kiedy stolica została przeniesiona na wysepkę San Juan w 1521 roku. Odnowiony przez 500 lat był rezydencją gubernatorów aż do połowy 1700 roku, kiedy zamek-twierdza św. Katarzyny został zmodernizowany i stał się rzeczywistą rezydencją-pałacem, a następnie ponownie ochrzczony Królewskim miejscem Pałacu św. Katarzyny ze Sieny. Po przeniesieniu gubernatora na koniec ulicy, do Fortalezy, Casa Blanca, z pięknymi balkonami i werandami w stylu Wysp Kanaryjskich, mieściło się Królewskie Bractwo oficerskie artylerii (Real Cofradía de Artillería), a także było oficjalną stolicą Guards de Corps, hiszpańskich zakonów rycerskich: Santiago, Calatrava, Montesa i Alcántara; dla rycerzy wojskowych: San Hermenegildo, suwerenny Zakon św. Jana Maltańskiego i Pontyfikalny Zakon jeździecki Grobu Świętego w Jerozolimie. Był coraz bardziej nieużywany aż po ii Wojnie Światowej. Został uratowany przez portorykański Instytut Kultury. Okoliczne ogrody zostały zasadzone przez Gen. Brooksa, pierwszego amerykańskiego wojskowego gubernatora wyspy w XX wieku.
w 1967 roku kompleks został przekazany rządowi Portoryko i uznany za zabytek historyczny. W 1981 roku został zarejestrowany w Historic American Buildings Survey. Obecnie w domu znajduje się Muzeum artefaktów z XVI i XVII wieku zarządzane przez Instytut Kultury portorykańskiej.