Keskajast pärinevat Kasti mõisat on esmamainitud 1488. aastal, mil see kuulus Uexküllidele. Mõis oli tollal välja ehitatud vasallilinnusena, mille müürid ja võlvlaed on jäänud praeguse peahoone soklikorruse sisse. 18. sajandi keskel läks mõis Baranoffidele, kes ehitasid keskaegse linnuse tervemaid osi ära kasutades kahekorruselise barokse peahoone. 1822. aastal sai omanikuks Konstantin von Sivers, kes lasi maja klassitsismi vaimus ümber ehitada: lisati veidi eenduvad tiivad, kesk- ja külgrisaliite kaunistasid kolmnurkfrontoonid ning külgrisaliitidel olid kolmeosalised veneetsia aknad. Hiljem lisati fassaadi keskele malmkonsoolidel rõdu.
Nõukogude ajal asusid mõisahoones kolhoosikontor, trahter ja kauplus. Praegu on maja eraomanduses. Säilinud on ka enamik kõrvalhooneid, kuid mõisakompleksi vahele ja lähedusse on ehitatud palju uusi hooneid.
Omanikud
von Uexküll1488–18. saj keskpaik
von Baranoff18. saj keskpaik
von Sivers1822
von Stackelberg1900–1919
Teadmiseks
Maja tagaküljel on ühest aknaavast näha, et keskaegse ehitise võlvlagi lõikub praeguse hoone aknaga.
Kastis töötanud ehitusmeister tegutses tõenäoliselt ka naabermõisas Haimres, kuna mõlema mõisa valitsejamajad on väga sarnased.
Uue-Kasti mõisast eristamiseks nimetati mõisa 19. sajandil ka Vana-Kastiks.