Olin startede sin karriere i 1913 som kemisk ingeniør for sin fars vestlige Patronfirma, en forgænger for Olin Industries, Inc. I 1935 blev han udnævnt til første vicepræsident for den fusionerede division. Han blev præsident for Olin Industries i 1944 og ved fusion af virksomheden med Mathieson Chemical Corporation i 1954 blev formand for bestyrelsen for det nye selskab, opkaldt Olin Mathieson Chemical Corporation. Derefter blev navnet forkortet til Olin Corporation. Olin trak sig tilbage som bestyrelsesformand i 1957 for at blive formand for forretningsudvalget, en stilling han havde, indtil han blev valgt til æresformand for bestyrelsen i 1963.Olin var opfinder eller medopfinder af 24 amerikanske patenter inden for fremstilling og design af våben og ammunition og var ansvarlig for adskillige udviklinger inden for ballistik.John Merrill Olin døde i 1982 i en alder af 89 år i sit hjem i East Hampton.