Karja mõis pärineb keskajast, mil see oli suuri Karja kihelkonna alasid hõlmav piiskopi ametimõis; esimest korda mainiti seda 1558. aastal. Taani ajal sai sellest riigimõis. 1798. aastal kinkis keiser Paul I mõisa ratsaväekindral Otto Wilhelm von Derfeldenile. 1873. aastast kuni 1919. aasta võõrandamiseni kuulus mõis Sengbuschidele. Peahoone on ehitatud mitmes järgus: vanem puidust ühekorruseline keskosa ja kahekorruselised kivist otsad, tagaküljel klassitsistlik sammastega katusealune.