La maison du Colonel By, qui était située sur Major's Hill (Fr : Colline du Major) à Bytown (fr: Village By), a été la résidence officielle de cet ingénieur qui supervisait les travaux de construction du canal Rideau. Pendant que le Lieutenant-Colonel By y habitait, cet endroit a été connu comme étant "la Colline du Colonel" et donc "the Colonel's Hill" en anglais. Ce nom est resté lorsque le Colonel Daniel Bolton a remplacé John By en 1832, mais l'endroit avait pris le nom de "Colline du Major" au départ de Bolton en 1843, promu Major entretemps.
La maison a été détruite par les flammes en 1849. Les ruines ont alors été recouvertes et l'endroit est devenu un parc. L'emplacement exact de la maison a été un mystère pendant plus de 100 ans jusqu'en 1972 lorsque l'historienne Dr. Mary Burns a effectué des recherches archéologiques pour la Commission de la Capitale Nationale.