Nascido em Canandaigua, estado de Nova Iorque, quando jovem começou a vender bicicletas em sua cidade natal e depois de alguns anos começou a fabricar sua própria linha de bicicletas. Em 1897 casou com Isabel Van Wie e alguns anos depois entrou no ramo de revenda de automóveis em Elmira, estado de Nova Iorque. Sua bem sucedida concessionária de automóveis vendia automóveis da marca Overland Automobile. Em 1907 problemas de suprimento com a fábrica da Overland em Indianápolis levaram John Willys a comprar a companhia. Mostrou ser um astuto operador e rapidamente tornou a companhia em um sucesso. Em 1909 adquiriu a Marion Motor Car Co. de Indianápolis e alguns anos depois transferiu a fábrica para uma unidade de produção adquirida da falida Pope Motor Car Co. em Toledo, estado de Ohio.
Após mudar o nome para Willys-Overland Motor Company em 1912, no ano seguinte adquiriu a Edwards Motor Co de Nova Iorque, que deu-lhe a licença de fabricar o patenteado motor Knight com "válvula de camisa deslisante". Sua companhia tornou-se o segundo maior fabricante de automóveis dos Estados Unidos e em 1915 ele construiu seu quartel general de sete pavimentos em Toledo, o mais moderno da época. Antes de encerrar a década, um terço dos trabalhadores da cidade estavam empregados na Willys-Overland ou em uma das diversas empresas fornecedoras de peças e componentes. Seu império automobilístico ofereceu ao consumidor a escolha de um veículo Overland, Willys ou Willys-Knight, cada um relacionado a um tipo específico de motor ou faixa de preço. Por intermédio de sua companhia holding, em 1918 adquiriu a Moline Plow Company de Moline, estado de Illinois, fabricante de tratores. No ano seguinte adquiriu o controle da companhia Duesenberg, visando gerenciar a fábrica dos irmãos Duesenberg em Elizabeth, estado de Nova Jersey, onde planejava produzir um novo automóvel com motor de seis cilindros.
Dificuldades trabalhistas iniciaram a ocorrer na fábrica da Willys-Overland em Toledo, resultando em uma violenta greve em 1919, fechando a fábrica por diversos meses. Willys contratou o vice-presidente da General MotorsWalter Chrysler para controlar a operação da Willys-Overland com o então surpreendente salário anual de 1 milhão de dólares. Contudo, Chrysler tentou derrubar John Willys com uma tentativa de aquisição da companhia por oferta pública, mas os acionistas foram contrários à sua jugada, e Chrysler deixou a companhia em 1921, fundando então seu próprio negócio.
Apesar de ser muito rentável, as empresas de foram altamente alavancadas, ampliadas e/ou adquiridas por meio de empréstimos maciços. Em 1921 os preocupados banqueiros de Willys o forçaram a se consolidar, a fim de limitar sua exposição a riscos. Para levantar fundos para redução de débitos, a fábrica da Willys-Overland em Nova Jersey foi vendida em leilão para William C. Durant, bem como a New Venture Gear em Syracuse, estado de Nova Iorque. Com os débitos sob controle, Willys começou novamente a expandir seus negócios e comprou em 1925 a F.J. Stearns Co. de Cleveland, que produziu uma linha de veículos de luxo. Em 1926 Willys introduziu a linha de modelos "Whippet", vendidos nos Estados Unidos, Canadá e Austrália.
A Grande Depressão da década de 1930 viu inúmeras montadoras de automóveis abandonar o negócio e as empresas Willys entraram em recuperação judicial em 1933. No ano seguinte John Willys e sua esposa de 37 anos divorciaram-se. Em seguida ele casou novamente, e morreu logo depois em 1935, vitimado por um infarto agudo do miocárdio em sua casa no Bronx, cidade de Nova Iorque.
