금박을 입힌 기와를 사용하는 등 모습이 호화로웠다. 다이(第)는 원래 저택이라는 의미지만, 여기에는 천수가 중심에 있는 혼마루와 니노마루 등이 있었고, 주위를 해자로 둘러서 방어하는 일본 성의 특징도 갖추고 있었다.
이 건물을 묘사한 예수회 신부 루이스 프로이스는 그의 저서 《일본사》에 이 건물을 이렇게 묘사했다.
“
건물은 주변이 반리나 되었고 석벽의 돌은 촘촘하지는 않았지만 회반죽으로 접합되었고, 기술이 뛰어나고 벽이 두꺼웠기 때문에 멀리서 보면 석조건물로 착각할 정도였다고 한다. 이 건물에 쓰였던 돌의 대부분은 드물게 볼 정도 크기로 먼 지방에서 사람이 메고 운반해온 것인데, 때로 돌 하나 옮기는데 3000~4000명의 일손이 필요하기도 하였다. 방과 객실 그밖의 공간에는 최량의 목재가 쓰였고 대부분은 삼나무의 향기를 내뿜고 있었다. 내부는 모두 황금색으로 빛나고 갖가지 그림으로 장식 되었으며 너무나도 청결하고 완벽하며 또한 조화가 이루어져 있는 점에 사람들은 경탄을 금치 못하였다.[2]
1591년 12월 히데요시가 간파쿠 직을 조카인 도요토미 히데쓰구에게 물려주면서 주라쿠다이도 히데쓰구의 거처가 되었다. 이후 고요제이 천황이 디시 여기에 들러 머물렀다. 1594년 도요토미 히데요시는 후시미성 축성을 착수했는데 다음해에 간파쿠 히데쓰구에게 할복을 명하고 주라쿠 다이는 철거시켜 버린다. 히데요시는 주라쿠다이의 건물 대부분을 후시미 성에 옮겨 쓰도록 하였다.