Polli oli algul Karksi mõisa karjamõis ja sai iseseisvaks 1720.–1730. aastatel. 1744. aastal kinkis keisrinna Jelizaveta selle ülemkantsler Aleksei Bestužev-Rjuminile. 18. sajandi lõpul ehitasid Duntenid ühekorruselise kõrge sokli ja kõrgema keskosaga tellishoone. 1887. aastal lasi Edgar von Stryk selle ümber ehitada: lisandusid poolümar tiib, uusgooti astmikviil ja puitpitsilised varikatused. Polli vallamajas kirjutajana töötanud August Kitzberg kujutas Strykke oma teostes.
