Olin rozpoczął karierę w 1913 roku jako inżynier chemiczny w Western Cartridge Company swojego ojca, poprzedniku Olin Industries, Inc. W 1935 roku, po przejęciu Winchester Repeating Arms Company przez Western, został mianowany pierwszym wiceprezesem połączonego Winchester-Western i szefem Winchester division. W 1944 r. został prezesem Olin Industries, a po fuzji firmy z Mathieson Chemical Corporation w 1954 r. został przewodniczącym zarządu nowej korporacji o nazwie Olin Mathieson Chemical Corporation. Następnie nazwa została skrócona do Olin Corporation. Pan Olin przeszedł na emeryturę jako Przewodniczący Zarządu w 1957 roku, aby zostać przewodniczącym Komitetu Wykonawczego, stanowisko piastował do czasu, gdy został wybrany honorowym przewodniczącym Zarządu w 1963 roku.
Olin był wynalazcą lub współautorem 24 patentów Stanów Zjednoczonych w dziedzinie produkcji i projektowania broni i amunicji oraz był odpowiedzialny za liczne osiągnięcia w dziedzinie balistyki.
John Merrill Olin zmarł w 1982 roku w wieku 89 lat w swoim domu w East Hampton w stanie Nowy Jork.