Olin a commencé sa carrière en 1913 en tant qu’ingénieur chimiste pour la Western Cartridge Company de son père, un prédécesseur d’Olin Industries, Inc. En 1935, à la suite de l’acquisition par Western Cartridge de la Winchester Repeating Arms Company, il est nommé Premier vice-président de la fusion de Winchester-Western et chef de la division Winchester. Il est devenu président d’Olin Industries en 1944 et, lors de la fusion de la société avec Mathieson Chemical Corporation en 1954, il est devenu président du conseil d’administration de la nouvelle société, nommée Olin Mathieson Chemical Corporation. Par la suite, le nom a été raccourci en Olin Corporation. M. Olin a pris sa retraite de Président du Conseil d’administration en 1957 pour devenir Président du Comité exécutif, poste qu’il a occupé jusqu’à ce qu’il soit élu Président honoraire du Conseil d’administration en 1963.
Olin était l’inventeur ou le co-inventeur de 24 brevets américains dans le domaine de la fabrication et de la conception d’armes et de munitions et était responsable de nombreux développements en balistique.
John Merrill Olin est décédé en 1982 à l’âge de 89 ans chez lui à East Hampton, New York.