Landshövding Carl Falkenberg af Trystorp köpte Qvidja Gård år 1674. Herrgårdens stenslott och träbyggnaderna på slottsgården var efter årtionden av vanskötsel i dåligt skick, men av reduktionskommissionens undersökning från år 1683 kommer Falkenbergs satsningar på gården fram. Kung Karl XI hade i reduktionsbeslutet år 1680 beordrat att alla gåvo- och länsmarker som överlämnats till adeln efter år 1632 skulle återlämnas till kronan. För att främja detta inventerades adelns egendom. Till Falkenbergs nybyggen hörde ett timmerhus med 12 rum, en kombinerad bryggeri- och köksbyggnad, två stall och en välbyggd ladugård. Bryggeriet har bevarats till nutiden och fungerar numera som kapell.

Åren 1697–1738 styrdes gården av Falkenbergs döttrar Elisabet Gustaviana och Catharina Charlotta Falkenberg. Enligt Kari Suistoranta, som skrivit Pargas historia, var herrgården under Falkenbergs arvingars tid en självförsörjande gård med omfattande jordbruksmark, tre fiskerier, en relativt ny trädgård och skog. Dessutom arbetade en smed, en mjölnare, en skräddare och en linvävare för gården.

År 1738 sålde Elisabeth Falkenberg Qvidja till landshövding Carl Johan Creutz. Familjen Creutz har registrerats som den första grevesläkten i Finlands Riddarhus. År 1758 ärvde sin fars namne, friherre och ambassadör Carl Johan Creutz egendomen. Carl Johan den yngre var tvungen att ge Simon Petter Rothstein gårdens fullmakter som pant mot ett pengalån, och pantbrevet blev ett köpebrev år 1769.

Eftersom Rothstein inte var adlig måste han be kungen om specialtillstånd att äga herrgården, och officiellt blev han Qvidjas ägare år 1776. Åren mellan dessa var svåra med tanke på Rothsteins position: Så väl bönderna på Qvidja som de andra i socknen förhöll sig kyligt till honom. I ett brev som bevarats från år 1772 konstateras att stenslottet är onödigt stort och snart ska rivas.