Gedung Chihkan awalnya didirikan oleh Belanda pada tahun 1653. Mereka membawa penduduk asli, kelompok suku Pingpu dan mendirikan benteng untuk menangkis serangan bajak laut. Pembangunan dengan tenaga kerja paksa dilakukan oleh penduduk asli. Hal tersebut menimbulkan beberapa perlawanan dari suku Pingpu. Setelah Koxinga menduduki Taiwan, barulah gedung ini dibangun dengan desain khas Tionghoa. Koxinga menjadikan Fort Provintia sebagai gudang senjata. Pada zaman Dinasti Qing, Gedung Chihkan mengalami kerusakan akibat perang.