Yra išlikęs 1596 m. Pavandenės dvaroinventorius, surašytas dalybų proga. Iš jo matyti, kad iki 1596 m. dvarą valdė Jonas Burba Gervydas, kuris visą savo turtą paliko penkiems sūnums. Tada Pavandenę paveldėjo du jo sūnūs – Stanislovas ir Mykolas. Dvare buvo du dideli gyvenamieji namai, 2 seklyčios, pirkios, arklidės, virtuvės, klojimo, tvartų, svirnų ir kiti trobesiai. Inventoriuje pažymima, kad yra pabėgusių valstiečių; visų besidalijančių brolių esanti pareiga juos sugauti ir gražinti dvarui. 1667 m. minimas Pavandenės pavietas.
1758 m. pirmą kartą paminėtas Pavandenės miestelis. Dvarui priklausė Pamoteraičių, Veldamų ir Negirkų kaimai. 1773 m. Pavandenė atiteko Pranciškui Bufalui, po jo – Sakelai, Danilevičiams. XIX a. pr. greta miestelio pastatytas magazinas. Pavandenę palietė abudu sukilimai prieš Rusiją. 1831 m. apylinkėse suformuotas sukilėlių pulkas (vadovaujamas D. Kalinovskio ir F. Rolando). Tų metų birželio 30 d. sukilėliai prie Pavandenės susirėmė su rusais. O 1861 m., vieno sekmadienio pamokslo metu vikaras kunigas Lukaševičius paskelbė rusų valdžios įsakymą, pagal kurį uždrausta giedoti himną. Kunigas pridūrė, jog šie įsakymai išleidžiami žmonėms engti. Už tai jis buvo ištremtas į Oloneco guberniją. Baudžiava Pavandenės apylinkėje ir dvare buvusi sunki. Dvarponiai nemėgo laisvųjų valstiečių ir stengėsi juos išgyvendinti. Šiam reikalui pasisamdydavo Kolainių rusus, kurie suardydavo žemaičių trobesius. XIX a. Pavandenė buvo Telšių apskrities miestelis ir dvaras, buvęs Varnių valsčiuje.[3][4]
1846 m. Pavandenėje buvo 43 dūmai, gyveno ~100 žydų, veikė sinagoga. ~1890 m. Sakeliai dvarą perstatė į rūmus. 1901–1903 m. Pavandenės dvare mokytoja dirbo rašytoja Marija Pečkauskaitė-Šatrijos Ragana. 1912 m. įsteigtas Blaivybės draugijos skyrius. Tarpukariu Pavandenėje veikė kooperatyvas, smulkaus kredito draugija, pieninė, buvo amatininkų dirbtuvių. Dvaras tapo pavyzdiniu, turėjo vėjo malūną, žuvininkystės tvenkinius, plytinę, buvo auginami grynakraujai veisliniai gyvuliai.[5] Pavandenėje gimė kompozitorius A. Rekašius.