고대의 씨족인 하지씨가 원류이다. 칸무 천황 즉위 10년이 되던 엔랴쿠 9년 (791년)에 친척관계인 하지 모로가미 등에게 오에(大枝)의 성을 내렸다.
헤이안 시대
866년 (죠우간 8년) 10월, 오에 오톤도가 성을 오에(大枝)에서 오에(大江)로 성을 고쳤다. 그 이유는, 가지 (분가)가 크면 몸체인 나무 줄기가 부러지는 (하극상) 것으로도 이어져 불길하다는 것이었다. 그러나 "오에"라는 성은 칸무 천황이 준 것이므로, 전면적으로 바꿀 수는 없어, 읽는 법은 그대로 하고, 한자만 변경했다. 또 오에(大江)는 큰 강처럼 오래도록 집이 번창하라는 의미가 있다고 한다.
또한, 히로모토의 형 마사노리의 자손은 궁정 관인으로 남아, 무로마치 시대 후반부터는 키타코우지를 칭하고, 에도시대에는 지하가로써 3가 (쿠로우도 2가, 코노에가 제대부 1가)가 나왔다. 그 중, 대대로 쿠로우도를 맡은 2가는 에도시대 후기 코카 4년 12월 17일 (1848년 1월 22일), 당상가 (반가)에 올랐다. (마지막으로 당상가로 승격함.)
