Elistvere oli ümbruskonna vanimaid mõisu, mida mainiti juba 1355, ja see läks Ungernitelt Wrangellidele ning sealt Stackelbergidele. 1785 lasi Reinhold von Stackelberg ehitada hiiglasliku hilisbarokse häärberi kõrge sokli ja järsu kelpkatusega, mida peeti üheks Eesti uhkeimaks. 1930. aastatel see lammutati ning täna elavad pargis ilvesed ja karud.