Suomenlahden saaristoa on alettu asuttaa sitä mukaa, kun saaret kohosivat jääkauden jälkeen merestä. Entinen merenpohja on hedelmällistä maata, ja jäätä uhmanneet jyrkät kalliomäet ovat olleet edullisia puolustettavia.

Qvidja sijaitsee Paraisten Lemlahden saarella, jossa maa kohoaa lähes puoli metriä vuosisadassa. Lemlahden saaren pohjoispuolella on suuri kivinen laituri, joka tänä päivänä sijaitsee 7–8 metriä merenpinnan yläpuolella. Laiturin sijainnista päätellen saarella on ollut vakituista asutusta jo 400–600-luvuilla.

Ensimmäiset kirjalliset tiedot Qvidjasta ovat 1400-luvulta. Silloin merenpinta oli vielä lähes kolme metriä korkeammalla kuin nykyään, joten tilan pohjoispuolella sijaitseva Piiton salmi oli leveämpi ja toimi aktiivisena vesireittinä. Ympäristö oli todennäköisesti metsäisempää kuin nykyään, mutta jyrkkärantainen saari lienee muuten ollut lähes nykyisen kokoinen.

Qvidjan tila on kirjattu 1400-luvun alkupuolen asiakirjaan, jossa saksalaissyntyinen turkulaiskauppias Peter van der Linden myy tilan Turun piispalle Maunu Olavinpoika Tavastille. Piispa maksoi tilasta 400 markkaa sekä puoli pakkaa ieperniläistä kangasta. Asiakirjan perusteella Qvidjan nimi oli jo vakiintunut, ja korkeasta kauppahinnasta päätellen Qvidja oli tuolloin huomattava tila.

Piispa jakoi perintötilansa Turun tuomiokirkon ja sukulaistensa kesken vuonna 1439. Qvidjan tila siirtyi Maunu Tavastin veljelle Jöns Olofinpoika Tavastille ja tämän vaimolle Marta Klauntyttärelle Djäknin suvusta.

Vuonna 1477 tila siirtyi perinnönjaossa Jöns Olofinpojan tyttärenpojalle, Vehmaan kihlakunnantuomari Joakim Henrikinpoika Flemingille. Kalmarin unionin perustanut, Tanskaa, Ruotsia ja Norjaa hallinnut Kuningatar Margareeta I oli vuonna 1396 langettanut aatelistolle kivisten kartanoiden rakennuskiellon, joka kumottiin vuonna 1483. On siis hyvin mahdollista, että Joakim Fleming pani alulle Qvidjan kivilinnan rakennustyöt.

Joakim nousi vuonna 1488 valtaneuvokseksi ja Turun linnan voudiksi, mutta menetti pian voudin asemansa. Joakimin kuoleman jälkeisistä vuosista 1496–1517 tilan hallitsijasta ei ole tietoja, mutta taloutta lienee pyörittänyt Joakimin leski tai paikallinen vouti.

Vuonna 1517 Qvidjan peri Joakimin vanhin poika Erik Fleming. Noustuaan valtaneuvokseksi Erik oli läheinen kuningas Kustaa Vaasan kanssa ja Suomen alueen vaikutusvaltaisin mies, joten suurella todennäköisyydellä Qvidjan rakennuskantaa parannettiin sen mukaisesti. Erik kuoli Qvidjassa vuonna 1548, ja Qvidjan tila siirtyi hänen pojalleen Joakim Erikinpoika Flemingille.

Joakim oli 13- tai 14-vuotias periessään tilan, joten tilan hallinnointia jatkoi hänen äitinsä Hebla Sparre, Erikin puoliso. Heblalle jäi useita maatiloja, mutta Qvidjaa hän piti säterinään. Siellä hän emännöi myös vuonna 1555, kun kuningas Kustaa Vaasaa teki vierailun Suomessa. Vierailua varten tilalla tehtiin hyvin todennäköisesti uudistustöitä.

Joakim kuoli vuonna 1563, ja tila siirtyi Joakimin nuoremmalle veljelle Klaus Erikinpoika Flemingille. Taloudenhoitajana toimi edelleen Hebla Sparre, koska hänet mainitaan osassa lähteitä tilan haltijaksi. Hebla Sparre kuoli vuoden 1571 tienoilla, mutta Klaus nai pari vuotta myöhemmin Ebba Stenbockin, joka jäi hallitsemaan tilaa samalla kun Klaus jatkoi politikointiaan etupäässä Tukholmassa.

Kuten isänsä, myös Klaus oli aikansa mahtavimpia suomalaisia. Hän sai vapaaherran ja yliamiraalin arvon vuonna 1569 ja valtakunnanmarskin arvon vuonna 1590, ja hän toimi Suomen ja Viron käskynhaltijana ja ylipäällikkönä vuodesta 1591 kuolemaansa vuonna 1597 asti.

Klausin vaimo Ebba oli Kustaa Vaasan viimeisen puolison Katariinan sisko. Kuningas Sigismundin ja Kaarle-herttuan välille syntyi valtakiista, jossa Klaus Fleming asettui puolustamaan kuningasta. Kaarle-herttua voitti taiston. Klaus ehti kuitenkin kuolla jo vuonna 1597 ennen kuin herttua ennätti rankaisemaan häntä. Sen sijaan Kaarle-herttua mestautti kostona Klausin ainoan elossa olevan pojan.

Jos Hebla Sparre oli hallinnut Qvidjaa taitavasti, ei hänen miniänsäkään osoittautunut helposti nujerrettavaksi. Miehensä kuoltua Ebba Stenbock otti komentoonsa Turun linnan ja johti sen puolustustaistelua Kaarle-herttuaa vastaan, mutta joutui tyttärineen vangituksi Tukholmaan. Qvidjan Kaarle-herttua antoi suosikilleen, Hieronymus Birckholtzille, saksanruotsalaiselle diplomaatille, joka oli usein ollut Klaus Flemingin kanssa vastatusten ja mennyt naimisiin Klausin veljentyttären, Anna Flemingin kanssa. Hänen kautensa Qvidjassa ei jäänyt kuitenkaan pitkäksi, sillä Ebba Stenbock sai tilan uudelleen haltuunsa vuonna 1608. Ebba kuoli Ruotsissa vuonna 1614.

Klaus Flemingin ja Ebba Stenbockin tytär, isoäitinsä mukaan nimetty Hebla Fleming meni vuonna 1615 naimisiin kreivi Peter Banérin kanssa ja peri Qvidjan. Perhe asui enimmäkseen Ruotsissa, joten tilaa ylläpitivät voudit. Peter Banérin kuoltua vuonna 1644 tilaa hallitsivat vuoronperään Peterin kolme veljeä Nils, Klaus ja Gustav Banér, joista kukaan ei asettunut tilalle, ja vuonna 1674 Gustav Banér myi tilan pois.