Olin și-a început cariera în 1913 ca inginer chimic pentru Western Cartridge Company a tatălui său, un predecesor al Olin Industries, Inc. În 1935, după achiziționarea de către Western Cartridge a Winchester Repeating Arms Company, a fost numit prim-vicepreședinte al Winchester-Western fuzionat și șef al diviziei Winchester. A devenit președinte al Olin Industries în 1944 și după fuziunea companiei cu Mathieson Chemical Corporation în 1954 a devenit președinte al Consiliului de administrație al noii corporații, numită Olin Mathieson Chemical Corporation. Ulterior, numele a fost scurtat la Olin Corporation. Olin s-a retras din funcția de președinte al Consiliului în 1957 pentru a deveni președinte al Comitetului Executiv, funcție pe care a deținut-o până când a fost ales Președinte Onorific al Consiliului în 1963.
Olin a fost inventator sau co-inventator a 24 de brevete ale Statelor Unite în domeniul fabricării și proiectării armelor și munițiilor și a fost responsabil pentru numeroase evoluții în balistică.John Merrill Olin a murit în 1982, la vârsta de 89 de ani, în casa sa din East Hampton, New York.