La Borda del Caser és una borda del terme municipal de Conca de Dalt, dins de l'antic terme de Toralla i Serradell, pertanyent al poble de Rivert, al nord-oest del municipi.
Està situada a les Vilanoves, en un replà al peu de l'extrem sud-est de la Serra del Cavall. És a l'est-sud-est de Rivert, prop del límit amb Salàs de Pallars, i al sud-oest de la Borda de Fèlix.
