Uexküllid ehitasid Virtsu sadamakohta kaitsva ruudukujulise kastelli umbes 1460. aastal. Kirde- ja edelanurgas kõrgusid kolmekorruselised ümartornid mašikuliide ja sakmetega ning kahekorruseline dolomiidist konvendihoone kaunistati vitraažide ja värviliste kahhelahjudega. Saare-Lääne vaenuses piiras piiskop Reinhold von Buxhoeveden linnust 1534, vallutas selle ja lasi umbes 1536 lammutada, nimetades seda „röövlimajaks“.
