Apotekare Lars Henrik von Mell hjälpte Rothstein ur sticket när han köpte Qvidja år 1777. Von Mell rustade upp gården som hade förfallit, bland annat slottet som fick sin nuvarande form under hans tid. Också herrgårdens trädgård utvidgades under 1770- och 1780-talen. Man vet att Von Mell ägde en tobaksplantage och en medicinalträdgård, men de kan ha funnits någon annanstans än på Qvidja.

När Von Mell dog överfördes gården till hans änka Hedvig Dorotea, och efter hennes död år 1800 ärvde von Mells dotters man kapten Anders Johan Prytz gården. Kapten Prytz bodde på Qvidja med sin familj. På Prytz tid lät familjen dekormålare Hellstén från Åbo måla väggmålningar i stora salen i huvudbyggnaden, vilket kan tyda på att byggnadens standard höjts till huvudbyggnad.

Efter kapten Prytz död år 1824 blev kaptenens änka och apotekare von Mells dotter Hedvig Maria gårdens ägare. Hon styrde över gården i ännu 40 år. På Hedvig Maria Prytz tid hade gården ett mycket aktivt socialt liv. Gården gästades av många författare och konstnärer. På hennes tid började man också väga alla gäster på gråstensslottets stora spannmålsvåg. Alla gästers vikter skrevs upp i Qvidjas vågbok där de finns än idag.

I boken kan man bland annat läsa att Johan Ludvig Runeberg vägde åtta lispund och fem pund, d.v.s. dryga 70 kilo när han besökte herrgården år 1827. Också den regelbundna ångbåtsförbindelsen som började trafikera mellan Åbo och Qvidja år 1859 säger något om hur betydelsefull gården var. Ångbåtsbryggan flyttades två kilometer bort till Kassor före år 1922.

När Hedvig Maria Prytz avled år 1863 överfördes gården till hennes sondotters söner Carl Johan Wolmar och Lars Oscar Wilhelm af Heurlin. Bröderna Wolmar och Wilhelm af Heurlin startade gårdens historias kanske största nybyggen. Den nya huvudbyggnaden blev färdig år 1866. Wilhelm drog sig tillbaka från att sköta gården redan på 1870-talet, men Wolmar fortsatte och lät bygga ut slottsgården med inspektorns hus på 1870-talet, det nya trädgårdsmästarhuset på 1880-talet och mejeriet på 1890-talet. De flesta av byggnaderna på den nuvarande slottsgården är från Wolmar af Heurlins tid.

Wolmar af Heurlin avslutade sin militära karriär år 1868 och koncentrerade sig på att utveckla Qvidjas lantbruk. Han skaffade nya arter för jordbruk, kombinerade små åkersnuttar och täckdikade ny åkermark. Han effektiverade boskapsuppfödningen med att låta bygga en modern ladugård av tegel, som fortfarande står på en synlig plats på hushållsgården. Han började mekanisera gården genom att skaffa en modern harv och en slåttermaskin samt på 1890-talet en såmaskin.

År 1872 grundades en ångsåg och en kvarn som fungerade med ångkraft, och år 1906 också ett tjärbränneri. Wolmer af Heurlin utnämndes till lantbruksråd för sitt utvecklingsarbete. Samma utnämning fick även hans son och sonson, vilket säger något om det högklassiga och uppskattade arbetet som gjordes på Qvidja.

Wolmar af Heurlins son Alexander Vilhelm af Heurlin blev gårdens husbonde år 1908. Gården fortsatte att växa, och det byggdes nya bostadshus för arbetarna. Från inventeringarna kommer det fram att byggnadsbeståndet före år 1924 även utökades med en bagarstuga, ett vagnskjul, ett förvaringsutrymme för lantbruksmaskiner, en verkstad som grundades i det gamla bryggeriet samt en begravningsplats för släkten af Heurlin grundades vid öns norra strand.

På 1920-talet fanns det redan 600 hektar brukade åkrar. Ångsågverket hade lagts ned som olönsamt redan år 1918, men år 1928 grundades en tegelfabrik och ön fick en bro till fastlandet. I början av 1930-talet omvandlades slottsgårdens verkstad till ett kapell.

År 1934–1949 styrdes gården av Vilhelm af Heurlins änka Margareta af Heurlin, född Aminoff. På hennes tid fokuserades upprustningsarbetena på huvudbyggnaden. Agrologen Håkan af Heurlin och hans fru Elly Aminoff, som ärvde gården år 1949, gjorde likaså rikligt med förändringar i huvudbyggnaden.

När markerna delades upp efter krigen år 1952 togs ca 40 procent av gårdens skogsområden för bosättning. I slutet på 1950-talet genomfördes undersökningar av herrgården och stenslottet och huvudbyggnadens gamla källare mättes.   År 1967 utnämndes herrgården till ett kulturhistoriskt skyddsobjekt, och år 1979 till en nationellt betydande kulturhistorisk miljö.

Från och med år 1976 var Håkan och Elly af Heurlins son Anders af Heurlin husbonde på gården. Han brukade jorden och utökade köttboskapsproduktionen. I slutet av 1990-talet söktes ett alternativ till köttboskapsuppfödningen i form av hotell- och fritidscentret som planerades i området, och inför det lät man utföra byggnadsinventeringar och en delgeneralplan, där en betydande del av gårdens byggnader blev skyddsmärkta. Projektet förverkligades dock inte, och senare har jordbruksmarkerna mest arrenderats till utomstående.