1521-ben épült, a San Juan-sziget első erődítményeként szolgált. Ez volt a rezidenciája Juan Ponce De Le Enterprises és családja, valamint unokatestvérei, bár de Leon meghalt egy expedíció Floridába anélkül, hogy valaha is kap, hogy elfoglalja a szerkezet. Leszármazottainak lakóhelyeként használták a 18.század közepéig.
erődítményként többnyire menedékként szolgált a Taino lázadók támadásának idején. A rövid lázadás békésen ért véget, miután a Caciques (Főispánok) békéről tárgyaltak. A ház fából épült, de tűzvész pusztította el, és kőből és falazatból újjáépítették.
Casa Blanca, ez volt az első kormányzó rezidenciája PR-ben, amikor a fővárost 1521-ben San Juan szigetére költöztették. 500 év alatt felújítva a kormányzók rezidenciája volt az 1700-as évek közepéig, amikor a Szent Katalin Várvárat korszerűsítették, és tényleges rezidenciapalotává vált, majd a Sienai Szent Katalin-palota királyi helyszínévé keresztelték. Miután a kormányzó az utca végére költözött, Fortaleza, Casa Blanca, gyönyörű Kanári-szigeteki stílusú erkélyekkel és verandákkal tartotta a Királyi Tüzérségi tiszt testvériségét (Real Cofrad Aptitilla de Artiller Aptitaponta), valamint a Guards de Corps hivatalos széke volt a spanyol lovagrendek számára: Santiago, Calatrava, Montesa és Alcotipntara; a katonai lovagok számára, azaz San Hermenegildo, a Máltai Szent János Szuverén rendje és a Szent János Pápai Lovasrend Jeruzsálem sírja. A második világháború után egyre inkább használaton kívül volt. A Puerto Rico-i Kulturális Intézet mentette meg. A környező kerteket Brooks tábornok, a sziget első amerikai katonai kormányzója ültette a 20.században.
1967-ben a komplexumot Puerto Rico kormányának adták át, és történelmi emlékművé nyilvánították. 1981-ben rögzítették a történelmi Amerikai épületek felmérése. Ma a ház a 16.és 17. századi műtárgyak Múzeuma, amelyet a Puerto Rico-i Kulturális Intézet kezel.