Klooga, varem Lodijärve mõis, mainiti esimest korda 1504. aastal ja arvatakse, et juba keskajal oli seal kivihoonestus; järve saksakeelse nime järgi kutsuti härrastemaja ka Lodijärve lossiks. 1665. aastal omandas mõisa Hans von Klugen ja Klugenite kätte jäi see kuni 1908. aastani – nende nimest tuleneb ka mõisa eestikeelne nimi. Härrastemaja valmis 1794. aastal: soklikorrus oli võlvitud, esimesel korrusel olid anfilaadis esindusruumid ja teisel korrusel eluruumid. Peahoone ees oli kahe kivihäärberi, tall-tõllakuuri ja aidaga piiratud auhoov.