У 1921 годзе пры Кіеўскім упраўленні адукацыі была арганізавана фізічная даследчая лабараторыя, якая ў 1922 годзе была ператворана ў Кіеўскую навукова-даследчую кафедру фізікі пры Кіеўскім політэхнічным інстытуце. 1 студзеня1929 кафедра фізікі рэарганізавана ў Навукова-даследчы інстытут фізікі Наркамасветы УССР, які з 1932 быў падпарадкаваны Усеўкраінскай акадэміі навук і ў 1936 перайменаваны ў Інстытут фізікі АН УССР.
Паспяховае правядзенне навуковых даследаванняў у пасляваенныя гады і рост іх маштабаў стварылі ўмовы, пры якіх далейшае развіццё патрабавала арганізацыйных і структурных зменаў. У 1945 годзе ў сістэме АН УССР была створана Лабараторыя металафізікі (у 1955 годзе ператворана ў Інстытут металафізікі АН УССР), у склад якой увайшоў аддзел дыфузійных працэсаў Інстытута фізікі. У 1960 годзе, з мэтай развіцця навуковых даследаванняў фізікі паўправадніковых прыбораў і іх прымянення на базе аддзела паўправаднікоў Інстытута фізікі створаны Інстытут паўправаднікоў АН УССР (цяпер Інстытут фізікі паўправаднікоў імя В. Я. Лашкарова НАН Украіны). У 1966 годзе на базе аддзела элементарных часціц і іншых тэарэтычных аддзелаў інстытута створаны Інстытут тэарэтычнай фізікі. Некалькі аддзелаў адпаведнага профілю сталі асновай створанага ў 1970 годзе Інстытута ядзерных даследаванняў АН УССР. На базе аддзела аптычнай квантавай электронікі ў 1995 годзе створаны Інстытут прыкладной оптыкі НАН Украіны.
