rakennettiin vuonna 1521, ja se toimi San Juanin saaren ensimmäisenä linnoituksena. Se oli Juan Ponce de Leónin ja hänen perheensä sekä myös hänen serkkujensa asuinpaikka, vaikka de Leon kuoli tutkimusmatkalla Floridaan pääsemättä koskaan miehittämään rakennelmaa. Sitä käytettiin hänen jälkeläistensä asuinpaikkana 1700-luvun puoliväliin saakka.
linnoituksena se toimi lähinnä pakopaikkana Taino-kapinallisten hyökkäysaikoina. Lyhyt kapina päättyi rauhanomaisesti Caciques (päälliköiden) komission neuvoteltua rauhasta. Talo oli rakennettu puusta, mutta tuhoutui tulipalossa ja rakennettiin uudelleen kivestä ja muurauksesta.
Casa Blanca oli PR: n ensimmäinen kuvernöörin virka-asunto, kun pääkaupunki siirrettiin San Juanin saarelle vuonna 1521. Kunnostettu pitkin 500 vuotta se oli kuvernöörien Residenssi kunnes 1700-luvun puolivälissä, kun linna-linnoitus St. Catherine modernisoitiin ja tuli todellinen residence-palatsi sitten uudelleen kastettu kuninkaallinen paikka palatsi St. Catherine Sienan. Kuvernöörin siirryttyä kadun päähän, Fortalezaan, Casa Blancaan, kauniilla Kanariansaarten tyylisillä parvekkeilla ja kuisteilla pidettiin kuninkaallisen Tykistöupseerin veljeskuntaa (Real Cofradía de Artillería) sekä oli virallinen nähdä Guards de Corps, Espanjan ritarikunnan ritarikunnat: Santiago, Calatrava, Montesa ja Alcántara; sotilasritarien eli San Hermenegildon suvereeni Order St. John Maltan ja Pontificial Equestrian Order Pyhän Jerusalemin hauta. Se oli yhä enemmän pois käytöstä toisen maailmansodan jälkeen. Sen pelasti Puertoricolainen kulttuuri-instituutti. Ympäröivät puutarhat istutti kenraali Brooks, saaren ensimmäinen amerikkalainen sotilaskuvernööri 1900-luvulla.
vuonna 1967 kompleksi luovutettiin Puerto Ricon hallitukselle ja julistettiin historialliseksi muistomerkiksi. Vuonna 1981 se kirjattiin Historic American Buildings Surveyyn. Nykyään talo on puertoricolaisen kulttuurin instituutin hallinnoima museo 1500-ja 1600-luvun esineistä.