Olin iniziò la sua carriera nel 1913 come ingegnere chimico per la Western Cartridge Company di suo padre, un predecessore della Olin Industries, Inc. Nel 1935, a seguito dell’acquisizione da parte della Western Cartridge della Winchester Repeating Arms Company, fu nominato primo vicepresidente della Winchester-Western e capo della divisione Winchester. Divenne presidente della Olin Industries nel 1944 e dopo la fusione della società con la Mathieson Chemical Corporation nel 1954 divenne presidente del consiglio di amministrazione della nuova società, chiamata Olin Mathieson Chemical Corporation. Successivamente, il nome è stato abbreviato in Olin Corporation. Olin si ritirò come Presidente del Consiglio nel 1957 per diventare Presidente del Comitato esecutivo, una posizione che mantenne fino a quando fu eletto Presidente onorario del Consiglio nel 1963.
Olin è stato un inventore o co-inventore di 24 brevetti statunitensi nel campo della produzione e della progettazione di armi e munizioni ed è stato responsabile di numerosi sviluppi in balistica.
John Merrill Olin morì nel 1982 all’età di 89 anni nella sua casa di East Hampton, New York.