Кон родился в простой еврейской семье. 
Его отец, Джозеф Коэн, был портным из Германии, 
а мать, Белла Джозеф, была родом из черты оседлости в Российской империи.

​

Гарри некоторое время проработал кондуктором трамвая, а затем рекламщиком,
получил работу в Universal Pictures, где уже работал его брат, Джек Кон.

​

В 1919 году Гарри вместе с братом и Джо Брандтом основали компанию «CBC Film Sales Corporation» в 1924 году переименованную в «Columbia Pictures».

Гарри Кон руководил кинопроизводством компании в Голливуде,

а его брат управлял финансами из Нью-Йорка.

Брандт, в конце концов продал свою треть компании Гарри Кону, который занял пост президента.

​

Columbia выпускала несколько «классных» постановок каждый год («Потерянный горизонт», «Праздник», «Мистер Смит едет в Вашингтон», «История Джолсона», «Джильда», «Вся королевская рать» и т. д.)