Pajaka varaseimad teated pärinevad 1452. aastast. 16.–17. sajandil kuulus mõis Taubedele ja 17. sajandi lõpul Wrangellidele. 1808. aastal omandas mõisa Peter von Stackelberg, kes lasi mõisasüdame esinduslikus klassitsistlikus stiilis välja ehitada. Uus peahoone oli otstest ühekorruseline ja keskelt kahekorruseline; keskrisaliiti kaunistasid tihe astmikviil ja medaljonid, otstes olid kolmnurkfrontoonidega külgrisaliidid. Tallinna–Pärnu maanteelt viis mõisa kahe kilomeetri pikkune noolsirge sihitee, mis ületas enne peahoonet Kasari jõe.
Varemete kohale on ehitatud uus hoone. Mõisasüdamesse viiv sihitee ja allee on alles, kuid sild üle Kasari jõe pole säilinud; kahekorruseline ait on säilinud enam-vähem algkujul.
Omanikud
Taube16. saj–17. saj
von Wrangell17. saj lõpp
Zoege18. saj
von Knorring18. saj
von Mohrenschildt18. saj–1808
von Stackelberg1808–1889
von Uexküll1889
Markgraf1919
Teadmiseks
1960. aastatel olid peahoone müürid veel ulatuslikult säilinud.
Sihitee viimased pool kilomeetrit olid kujundatud alleena.
Kaasaegne Vardi–Pajaka–Riisipere tee ületab Kasari jõe paarsada meetrit vana sillakohast allavoolu.
