Het vroeg-17e-eeuwse gebouw werd in de plaats Kensington als Nottingham House voor de graaf van Nottingham gebouwd. Het werd door Willem III in 1689 gekocht, omdat de koning een residentie bij Londen wilde zonder de vuile lucht omdat hij astmatisch was. Kensington was toen een plaats buiten Londen, maar toegankelijker dan Hampton Court. Een privéweg werd aangelegd van het paleis naar Hyde Park Corner, breed genoeg om verschillende koetsen naast elkaar te laten rijden, waarvan een deel als Rotten Row is overgebleven. Het paleis werd verbeterd en uitgebreid door Christopher Wren. Als privégebouw werd het aangeduid als Kensington House, in plaats van 'Paleis'.