Olin comenzó su carrera en 1913 como ingeniero químico para la Western Cartridge Company de su padre, predecesora de Olin Industries, Inc. En 1935, tras la adquisición por Western Cartridge de la Winchester Repeating Arms Company, fue nombrado Primer Vicepresidente de la fusión Winchester-Western y jefe de la división Winchester. Se convirtió en Presidente de Olin Industries en 1944 y tras la fusión de la compañía con Mathieson Chemical Corporation en 1954 se convirtió en Presidente de la Junta de la nueva corporación, llamada Olin Mathieson Chemical Corporation. Posteriormente, el nombre se acortó a Olin Corporation. Olin se retiró como Presidente de la Junta en 1957 para convertirse en Presidente del Comité Ejecutivo, cargo que ocupó hasta que fue elegido Presidente Honorario de la Junta en 1963.
Olin fue inventor o co-inventor de 24 patentes de los Estados Unidos en el campo de la fabricación y diseño de armas y municiones y fue responsable de numerosos desarrollos en balística.John Merrill Olin murió en 1982 a los 89 años en su casa de East Hampton, Nueva York.