ifølge sin bror Vyvyan Hollands beretninger i sin selvbiografi, søn af Oscar vilde (1954), Oscar var en hengiven og kærlig far til sine to sønner. Deres barndom var relativt glad. Men efter hans meget offentlige retssager, domfældelse i 1895 og fængsel for grov uanstændighed valgte deres mor Constance at tage familien ud af rampelyset.
hun tog efternavnet Holland for både drengene og sig selv for at beskytte dem mod offentlig kontrol. Hun flyttede med drengene til Sverige og indskrevet dem i en engelsktalende kostskole i Tyskland. Oscar døde i 1900; ingen af hans sønner så ham igen, efter at han gik i fængsel. Da han blev løsladt, rejste han til Frankrig og boede aldrig i England eller Irland igen.
fra 1899 til 1903 deltog Cyril Radley College, en privat skole i England. Efter at have forladt skolen blev han en Gentleman kadet på Royal Military Academy.Holland blev bestilt som 2. løjtnant, Royal Field Artillery, den 20. December 1905. Han blev forfremmet til løjtnant den 20. December 1908 og tjente i Det Forenede Kongerige i næsten tre år. Han blev sendt til Indien, hvor han tjente fra September 1911 til 1914 med No. 9 Ammunition kolonne, RFA på Secunderabad. Han blev forfremmet til kaptajn den 30. oktober 1914.