Öarna i Finska viken började få bosättning allt eftersom de efter istiden steg upp ur havet. Jorden som tidigare varit havsbotten var bördig och de branta klippbackarna som isen format var lätta att försvara.

Qvidja ligger på Lemlaxön i Pargas, där landet höjs nästan en halv meter per århundrade. På norra sidan av Lemlaxön finns en stor stenbrygga, som i dag ligger 7–8 meter ovanför havsytan. På basis av bryggans position kan vi dra slutsatsen att ön har haft fast bosättning redan på 400–600-talen.

Den första skriftliga informationen om Qvidja kommer från 1400-talet. Då var havsytan ännu nästan tre meter högre än i dag, så Pito sund på norra sidan av gården var bredare och fungerade som en aktiv vattenrutt.  Miljön var sannolikt skogigare än idag, men ön med sina branta stränder har antagligen i övrigt varit av ungefär samma storlek.

Qvidja gård nämns i ett dokument från början av 1400-talet, där den tyskfödde köpmannen Peter van der Linden från Åbo säljer gården till Magnus Olai Tavast, biskop i Åbo. Biskopen betalade 400 mark och en halv packe tyg från Ieper för gården. På basis av dokumentet hade Qvidjas namn redan etablerats, och av det höga affärspriset kan man dra slutsatsen att Qvidja då var en betydande gård.

Biskopen delade sina arvsgårdar mellan Åbo domkyrka och sina släktingar år 1439. Qvidja Gård överfördes till Magnus Tavasts bror Jöns Olofsson Tawast och dennes fru Marta Klausdotter från släkten Djäkn.

År 1477 överfördes gården i ett arvskifte till Jöns Olofssons dotterson, Vemo häradsdomare Joakim Henriksson Fleming. Drottning Margareta I som hade grundat Kalmarunionen och regerat över Danmark, Sverige och Norge hade år 1396 förbjudit adelsmän att bygga herrgårdar av sten. Förbudet upphävdes år 1483. Det är alltså mycket möjligt att det var Joakim Fleming som lät börja bygga Qvidjas stenslott.

År 1488 blev Joakim riksråd och fogde på Åbo slott, men han förlorade snabbt positionen som fogde. Det finns ingen information om vem som ägde gården åren 1496–1517, efter Joakims död, men hushållet styrdes antagligen av Joakims änka eller en lokal fogde.

År 1517 ärvde Joakims äldsta son Erik Fleming Qvidja. Efter att ha blivit riksråd stod Erik kung Gustav Vasa nära och var den mäktigaste mannen i Finlands område, så med största sannolikhet förbättrades Qvidjas byggnadsbestånd enligt detta. Erik dog på Qvidja år 1548, och gården överfördes till hans son Joakim Eriksson Fleming.

Joakim var 13 eller 14 år gammal när han ärvde gården, så den sköttes av hans mor Hebla Sparre, Eriks fru. Hebla hade flera gårdar, men hon upplevde Qvidja som sitt säteri. Där agerade hon även värdinna år 1555, när kung Gustav Vasa kom på besök till Finland. Det gjordes sannolikt upprustningsarbeten på gården inför besöket.

Joakim dog år 1563, och gården överfördes till Joakims yngre bror Clas Eriksson Fleming. Hebla Sparre skötte fortfarande hushållet, eftersom hon nämns som gårdens ägare i vissa källor. Hebla Sparre dog kring år 1571, men Clas gifte sig ett par år senare med Ebba Stenbock, som skötte gården medan Clas fortsatte sin politiska karriär, framför allt i Stockholm.

Såsom sin far var även Clas en av de mäktigaste finländarna på sin tid. Han upphöjdes till friherre och riksamiral år 1569 och riksmarsk år 1590 och han fungerade som Finlands och Estlands ståthållare och överbefälhavare från år 1591 till sin död år 1597.

Clas fru Ebba var syster till Gustav Vasas sista fru Katarina. Det uppstod en maktkamp mellan kung Sigismund och Hertig Karl, där Clas Fleming försvarade kungen. Hertig Karl vann kampen. Clas hann dock avlida redan år 1597 innan hertigen hann straffa honom. Däremot halshögg Hertig Karl Clas enda levande son som hämnd.

Om Hebla Sparre hade styrt Qvidja skickligt, visade sig hennes svärdotter inte heller vara lätt att knäcka. Efter sin mans död tog Ebba Stenbock kontroll över Åbo slott och ledde dess försvarsstrid mot Hertig Karl, men blev tillfångatagen och förd till Stockholm med sina döttrar. Qvidja gård gav Hertig Karl till sin favorit Hieronymus Birckholtz, en svensk-tysk diplomat som ofta hade gått emot Clas Fleming och hade gift sig med Clas brorsdotter Anna Fleming. Hans era på Qvidja blev ändå inte lång, eftersom Ebba Stenbock fick kontroll över gården på nytt år 1608. Ebba avled i Sverige år 1614.

Clas Flemings och Ebba Stenbocks dotter Hebla Fleming, som fått sitt namn efter sin mormor, gifte sig år 1615 med greve Peder Banér och ärvde Qvidja Gård. Familjen bodde mestadels i Sverige, så gården sköttes av fogdar. Efter Peder Banérs död år 1644 styrde hans tre bröder Nils, Clas och Gustav Banér turvis gården, men ingen av dem slog sig ned där, och år 1674 sålde Gustav Banér gården.