Apteekkari Lars Henrik von Mell päästi Rothsteinin pälkähästä ostamalla häneltä Qvidjan 1777. Von Mell kunnosti paljon ränsistymään päässyttä tilaa, muun muassa sen linnaa, joka sai nykyisen muotonsa hänen aikanaan. Myös karta­non puutarhaa laajennettiin 1770–1780-lukujen kuluessa. Von Mellin tiedetään omistaneen tupakkaplantaasin ja lääkepuutarhan, mutta ne saattoivat sijaita myös muualla kuin Qvidjassa.

Von Mellin kuoltua tila siirtyi hänen leskelleen Hedvig Dorotealle, jonka kuoltua vuonna 1800 tilan peri von Mellin tyttären mies kapteeni Anders Johan Prytz. Kapteeni Prytz asui perheineen Qvidjassa. Prytzien aikana päärakennuksen suureen saliin teetettiin seinämaalaukset turkulaiselta lavastemaalari Hellsténiltä, mikä voisi viitata rakennuksen statuksen kohonneen päärakennukseksi.

Kapteeni Prytzin kuoleman jälkeen vuonna 1824 tilan omistajaksi jäi kapteenin leski ja apteekkari von Mellin tytär Hedvig Maria. Hän hallitsi tilaa vielä seuraavat 40 vuotta. Hedvig Maria Prytzin aikana tilalla oli hyvin vilkas seuraelämä. Vieraana kävi paljon kirjailijoita ja taiteilijoita. Hänen aikanaan alettiin myös kaikki vieraat punnita harmaakivilinnan suurella viljavaa’alla. Kaikkien vieraiden painot merkittiin Kuitian vaakakirjaan, jossa ne ovat vieläkin.

Kirjasta voi lukea muun muassa, että Johan Ludvig Runeberg painoi kahdeksan lispuntaa ja viisi naulaa eli runsaat 70 kiloa käydessään kartanossa vuonna 1827. Tilan merkityksestä kertoo myös säännöllinen höy­rylaivayhteys, joka aloitti liikennöinnin Turusta Qvidjaan vuonna 1859. Höyrylaivalaituri siirrettiin kahden kilometrin päähän Kassorille vuoteen 1922 mennessä.

Kun Hedvig Maria Prytz kuoli vuonna 1863, kartano päätyi hänen pojantyttärensä poikien Carl Johan Wol­mar ja Lars Oscar Wilhelm af Heurlinin haltuun. Veljekset Wolmar ja Wilhelm af Heurlin ryhtyivät kartanon historian ehkä suurimpiin uudistuksiin. Vuonna 1866 valmistui uusi pääraken­nus. Wilhelm jättäytyi tilanhoidosta jo 1870-luvulla, mutta Wolmar jatkoi lisäämällä linnanpihan kokonaisuuteen pehtoorin talon 1870-luvul­la, uuden puutarhurin talon 1880-luvulla ja meijerin 1890-luvulla. Suurin osa nykyisen linnanpihan rakennuksista on Wolmar af Heur­linin kaudelta.

Wolmar af Heurlin päätti sotilasuransa vuonna 1868 ja keskittyi Qvidjan maatalouden kehittämiseen. Hän hankki viljelykseen uu­sia lajikkeita, yhdisti pieniä peltosarkoja ja salaojitti uutta peltomaata. Karjan kasvatusta tehostettiin rakentamalla uudenaikainen tiilin­avetta, joka seisoo edelleen näkyvällä paikalla talouspihalla. Tilan koneistaminen aloitettiin hankkimalla muun muassa moderni äes ja niittokone sekä 1890-luvulle tultaessa kylvökone.

Vuonna 1872 ti­lan yhteyteen perustettiin höyrysaha ja höyryvoimalla toimiva mylly, ja vuoteen 1906 mennessä myös tervapolttimo. Kehitystyöstään Wolmar af Heurlin nimitettiin maanviljelysneuvokseksi. Saman arvonimen saivat aikoinaan myös hänen poikansa ja pojanpoikansa, mikä kertoo Qvidjassa tehdystä korkealuokkaisesta ja arvostetusta työstä.

Wolmar af Heurlinin poika Alexander Vilhelm af Heurlin siirtyi tilan isännäksi vuonna 1908. Tila jatkoi kasvuaan, ja työväelle rakennettiin uusia asuinrakennuksia. Inventoinneista selviää, että rakennuskanta rikastui vuoteen 1924 mennessä myös leivintuvalla, vaunuvajalla, maatalouskonetallilla ja entiseen panimoon sisustetulla pajalla sekä vuonna 1919 saaren pohjoisrantaan perustetulla af Heurlin -suvun hautapaikalla.

1920-luvulla viljeltyä peltoalaa oli jo 600 hehtaaria. Höyrysaha oli lopetettu kannattamattomana vuonna 1918, mutta vuonna 1928 perustettiin tiilitehdas, ja saaresta saa­tiin siltayhteys mantereeseen. 1930-luvun alussa linnanpihan paja muutettiin kappeliksi.

Vuosina 1934–1949 tilaa hallitsi Vilhelm af Heurlinin leski Margareta af Heurlin, omaa sukua Aminoff. Hänen aikanaan uudistustyöt kes­kittyivät päärakennukseen. Vuonna 1949 tilan perineet agrologi Hå­kan af Heurlin ja vaimonsa Elly Aminoff tekivät yhtä lailla runsaasti muutoksia päärakennuksessa.

Sotien jälkeen suoritetussa maanja­ossa vuonna 1952 tilasta lohkottiin asutustiloille noin 40 prosenttia lähinnä metsää käsittänyttä maata. 1950-luvun lopussa järjestet­tiin kartanotilaa koskevat tutkimukset ja kivilinna ja päärakennuk­sen vanhemmat kellarit mitattiin. Vuonna 1967 kartano nimettiin kulttuurihistorialliseksi suojelukohteeksi, ja vuonna 1979 valtakun­nallisesti merkittäväksi kulttuurihistorialliseksi ympäristöksi.

Vuodesta 1976 alkaen tilan isäntänä oli Håkan ja Elly af Heurlinien poika Anders af Heurlin, joka harjoitti maanviljelystä ja laajensi li­hakarjan tuotantoa. 1990-luvun lopussa lihakarjan pitämiselle etsittiin vaihtoehtoa lähiympäristöön suunniteltavasta hotelli- ja vapaa-ajan keskuksesta, jota varten teetettiin rakennusinventointe­ja sekä osayleiskaava, jossa huomattava osa tilan rakennuksista sai suojelumerkinnän. Hanke ei kuitenkaan toteutunut, ja sittemmin viljelysmaa on ollut enimmäkseen vuokrattuna ulkopuolisille.