Visegrádi grupp sai alguse Tšehhoslovakkia, Ungari ja Poola tippkohtumisel Ungari linnas Visegrádis15. veebruaril1991, kui kolme riigi juhid otsustasid oma riikide vahelise koostöö kaudu edendada Euroopa integratsiooni. Pärast Tšehhoslovakkia lagunemist liitusid ühendusega nii Tšehhi kui ka Slovakkia.
Visegrádi grupi ainus institutsioon on 1999 asutatud Rahvusvaheline Visegrádi Fond, mille peakorter on Bratislavas. Alates 2005. aastast on fondi aastaeelarve 3 miljonit eurot.