Olin začal svou kariéru v roce 1913 jako chemický inženýr pro jeho otce Western Cartridge Company, předchůdce Olin Industries, Inc. V roce 1935, po akvizici společnosti Winchester Repeating Arms Company, byl jmenován prvním viceprezidentem sloučeného Winchester-Western a vedoucím divize Winchester. On se stal Prezidentem Olin Odvětví v roce 1944 a po sloučení společnosti s Mathieson Chemical Corporation v roce 1954 se stal Předsedou Představenstva nové společnosti, pojmenovaný Olin Mathieson Chemical Corporation. Následně byl název zkrácen na společnost Olin Corporation. Pan Olin odešel z funkce předsedy představenstva v roce 1957, aby se stal předsedou Výkonného výboru, funkci zastával až do zvolení čestným předsedou představenstva v roce 1963.
Olin byl vynálezce nebo co-vynálezce 24 patentů Spojených Států v oblasti zbraní a střeliva výroba a design a byl zodpovědný za mnoho vývoj v balistice.
John Merrill Olin zemřel v roce 1982 ve věku 89 let ve svém domě v East Hamptonu v New Yorku.