Olin begann seine Karriere 1913 als Chemieingenieur für die Western Cartridge Company seines Vaters, einem Vorgänger von Olin Industries, Inc. 1935, nach der Übernahme der Winchester Repeating Arms Company durch Western Europe, wurde er zum ersten Vizepräsidenten der fusionierten Winchester-Western und zum Leiter der Winchester Division ernannt. Er wurde Präsident von Olin Industries im Jahr 1944 und nach der Fusion des Unternehmens mit Mathieson Chemical Corporation im Jahr 1954 wurde Vorsitzender des Vorstands der neuen Gesellschaft, genannt Olin Mathieson Chemical Corporation. Anschließend wurde der Name in Olin Corporation abgekürzt. Herr Olin zog sich 1957 als Vorstandsvorsitzender zurück, um Vorsitzender des Executive Committee zu werden, eine Position, die er innehatte, bis er 1963 zum Ehrenvorsitzenden des Verwaltungsrats gewählt wurde.
Olin war Erfinder oder Miterfinder von 24 US-Patenten auf dem Gebiet der Waffen- und Munitionsherstellung und -konstruktion und war für zahlreiche Entwicklungen in der Ballistik verantwortlich.John Merrill Olin starb 1982 im Alter von 89 Jahren in seinem Haus in East Hampton, New York.