Olin började sin karriär 1913 som kemiingenjör för sin fars Western Cartridge Company, en föregångare till Olin Industries, Inc. 1935, efter Western cartridges förvärv av Winchester Repeating Arms Company, utsågs han till första Vice ordförande för den sammanslagna Winchester-Western och chef för Winchester division. Han blev President för Olin Industries 1944 och vid sammanslagning av företaget med Mathieson Chemical Corporation 1954 blev styrelseordförande för det nya företaget, som heter Olin Mathieson Chemical Corporation. Därefter förkortades namnet till Olin Corporation. Olin gick i pension som styrelseordförande 1957 för att bli ordförande i verkställande utskottet, en befattning som han innehade tills han valdes till hedersordförande i styrelsen 1963.
Olin var en uppfinnare eller meduppfinnare av 24 amerikanska patent inom vapen-och ammunitionstillverkning och design och var ansvarig för många utvecklingar inom Ballistik.
John Merrill Olin dog 1982 vid 89 års ålder i sitt hem i East Hampton, New York.