Olin começou sua carreira em 1913 como engenheiro químico para a Western Cartridge Company de seu pai, um antecessor da Olin Industries, Inc. Em 1935, após a aquisição da Winchester Repeating Arms Company, ele foi nomeado Primeiro Vice-Presidente da Winchester-Western e chefe da divisão Winchester. Ele tornou-se presidente da Olin Industries em 1944 e após a fusão da empresa com a Mathieson Chemical Corporation em 1954 tornou-se presidente da Diretoria da nova corporação, chamada Olin Mathieson Chemical Corporation. Posteriormente, o nome foi abreviado para Olin Corporation. Olin aposentou-se como Presidente da Diretoria em 1957 para se tornar presidente do Comitê Executivo, uma posição que ocupou até ser eleito Presidente Honorário da Diretoria em 1963.Olin foi um inventor ou co-inventor de 24 patentes dos Estados Unidos no campo da fabricação de armas e munições e foi responsável por inúmeros desenvolvimentos na balística.John Merrill Olin morreu em 1982 aos 89 anos em sua casa em East Hampton, Nova Iorque.