Premda je Vrsarska grofovija bila osobit i autonoman feudalni imunitet, odijeljen kako od mletačke tako i od austrijske teritorijalne jurisdikcije, ona se nalazila na zapadnoj obali Istre te je bila bliža mletačkome univerzumu negoli austrijskim odrednicama društvenog razvitka u Pazinskoj grofoviji. Povijest života u njoj tijekom XVI. i XVII. stoljeća, pa i kasnije, u doba mletačke vlasti, bila je određena pogodnim geografskim smještajem i gospodarski strateškim položajem koji se ogledao u zaštićenosti samoga naselja sigurnošću vrsarskoga brijega te blagodati otokom zaštićenog pristaništa. Ovo je, pak, pristanište bilo smješteno na pomorskim rutama prema Mlecima, dok je samo naselje imalo izrazit agrarni biljeg. Povijesni izvori i podaci o Vrsaru iz XVI. stoljeća malobrojni su, što M. Budicin pripisuje malobrojnosti horografa i kroničara koji, k tome, donose iznimno pregnantne izvještaje o Vrsaru i vrsarskome kraju.
Poput cijele Istre, i Vrsarština je početkom XVI. stoljeća osjećala teške posljedice rata Cambraiske lige. Premda su ratni sukobi bili većinom ograničeni na potez između Trsta i Milja, sjevernu Istru (uslijed čega je uništen Rašpor, a sjedište Rašporskog kapetanata preneseno u Buzet) te na njezine središnje predjele (Pazin), posljedice ovoga rata osjećale su se na mletačkim imanjima u Istri. Posljedice rata osjećale su se dugo jer su od toga vremena utihnule mletačke ekspanzionističke težnje u sjevernoj Istri, ali i na nemletačke feudalne imunitete poput Vrsarske grofovije.
Nakon pada Bosne pod osmanlijskim najezdama, neizvjesnost se uvlači i među stanovništvo Istre koje će tijekom XVI. stoljeća biti izloženo povremenim pljačkaškim upadima Osmanlija. Usporedo s padom Bosne na područje Istre, uključujući i neposredno zaleđe Vrsara (Fuškulin, Dračevac, Mugeba), doseljava katoličko stanovništvo koje dolazi u sukob sa starosjediocima. Apostolski vizitator Agostino Valier posjetio je Vrsar u sklopu obilaska Poreštine 1580. godine, međutim, za razliku od svih ostalih župa u Istri, za Vrsar nije naveo broj stanovnika. Premda o onovremenom položaju Vrsara i djelatnosti njegova pristaništa nema podataka, zasigurno je situacija bila poražavajuća, a pomorski promet u cijelosti suspendiran.
Uskoci su pred obalama Vrsara napadali i pljačkali brodove i njihove posade, ali samo naselje Vrsar i njegovo pristanište nisu pretrpjeli neposredna razaranja, pljačkanje ili štetu, no posredna šteta u vidu izmakle dobiti zasigurno je bila velika. Nema nikakvih naznaka da je bilo mletačka ili austrijska vojska upadala na teritorij Vrsarske grofovije tijekom Uskočkoga rata.
Tijekom Uskočkoga rata (1615-1618.) izrazit je problem bilo krijumčarenje žita te krijumčarska trgovina raznoraznim proizvodima koju su Mlečani po svaku cijenu željeli ograničiti i, po mogućnosti, spriječiti. Krijumčarski brodovi (koji su prakticirali prodaju žita s vašela) 1616. godine zabilježeni su također u vodama pred Vrsarom pa su Mleci istarskom providuru naložili da naoružanim barkama patrolira tim područjem i budno pazi na kretanje krijumčara i njihovih brodova.
Nakon Uskočkoga rata u Istri se 1631. godine pojavila najsmrtonosnija zabilježena pandemija kuge. To je umnogome faktički i administrativno zakompliciralo pomorsku trgovinu s Mlecima, osobito izvoz Vrsarskoga kamena. Ovo je razdoblje obilježila osoba porečkoga biskupa Alessandra Adelasija. Održao je dijecezansku sinodu 1675. godine u Vrsaru i iste godine u Mlecima objavio sinodalne odluke sažete u 24 poglavlja (Sinodo Diocesano di Monsignor Illustrissimo e Reverendissimo Adelasio Per la Iddio gratia e della S. Sede Apostolica Vescovo di Parenzo, Conte e Sig. d’Orsera). U Tajnom vatikanskom arhivu čuva se deset njegovih relacija o stanju u biskupiji, a u Biskupijskom arhivu u Poreču isto toliko knjiga dragocjenih podataka upisanih prigodom mnogobrojnih kanonskih pohoda župa u mletačkom i austrijskom dijelu biskupije. U hrvatskim je župama preporučivao svećenicima uredno održavanje i uporabu hrvatskih liturgijskih knjiga u bogoslužju, tzv. šćaveta.
Nehigijenski uvjeti i izrazito nepodnošljive okolnosti života kakve su vladale Porečom u XVII. stoljeću pridonijeli su da je sjemenište Porečke biskupije 1660. godine preseljeno u Vrsar. M. Pavat navodi da se dio sjemeništaraca razbolio u Poreču. Ovo sjemenište utemeljeno je 1650. u Svetvinčentu, ali je već 1655. godine preseljeno u Poreč, no ubrzo se uvidjelo da su uvjeti života u Poreču nemogući. Ovo sjemenište djelovalo je u Vrsaru od 1660. do 1666. godine, kada je zatvoreno zbog nedostatka financijskih sredstava za izdržavanje sjemeništaraca. Sjemenište je bilo biskupijsko, a u Vrsaru djelovalo je u sklopu napuštenog opatijskoga zdanja Svete Marije, za koje se čak i na austrijskim katastarskim planovima iz XIX. stoljeća susreće naznaka Seminario. Ovo je sjemenište tijekom postojanja stalno pratila oskudica i nedostatak sredstava za njegovo uzdržavanje. Kada je preseljeno u Vrsar, dana 18. lipnja 1660. godine, temeljem papinskog brevea od 28. svibnja 1660. godine uzdržavalo se od kazni i globa koje je izricao porečki biskup (per modum poenae). Njegov je rektor u vrijeme premještanja u Vrsar bio M. R. Giacinto Dimitri. Sjemenište je iznova otvoreno u Vrsaru 1715. godine, a imalo je sedam sjemeništaraca.
Doba XVII. i XVIII. stoljeća na Poreštini obilježeno je sveprisutnim razbojništvom. Dio sitnih prekršitelja, ali i teških zlikovaca s Poreštine sklanjao se upravo u Vrsar jer ovdje Mlečani nisu mogli primjenjivati kaznenopravne mjere niti u današnjem smislu riječi od porečkoga biskupa tražiti izručenje zlikovaca, razbojnika i sitnih lopova. Praksa pronalaženja utočišta od strane raznoraznih zločinaca postojala je i u XVI. stoljeću, što nije ostalo neprimijećeno od grofovijskih vlasti te je, posljedično, zabilježeno u diplomatičkim povijesno-pravnim izvorima. Očuvan je edikt porečkoga biskupa od 30. svibnja 1588. godine kojim je za laike koji bi pružali utočište zlikovcima predviđao novčane kazne i kaznu otpravljanja na galiju, dok je za klerike previđao kaznu ekskomunikacije. Takvo gledište na pružanje utočišta zlikovcima bilo je potvrđeno ediktom iz 1646. godine istovrsnom proklamacijom. U Vrsaru se tada u odnosu na cijelu Istru (koja je opustošena i depopulirana ratovima i bolestima) događa obrnut proces koji se ogleda u donošenju propisa koji destimuliraju i ograničavaju populacijsku ekspanziju. Intenzivna imigracija na Vrsarštinu od početka XVI. stoljeća, a osobito tijekom Uskočkoga rata i pandemije kuge te u drugoj polovici XVII. stoljeća, doveli su do prenapučenosti grada intra muros.
Opadanje kvalitete života u Vrsaru zapaža se tijekom XVIII. stoljeća kada zamire gospodarska aktivnost u vrsarskome pristaništu, a društvo se u sve većoj mjeri počinje okretati stočarstvu, što se ogleda i u zapuštanju obrađenih poljodjelskih površina te ubrzanom širenju šumske vegetacije. Opaža se povećanje fonda ovaca i koza u Vrsarskoj grofoviji, uz istovremene pojave zloupotreba u gospodarskoj upravi vrsarskim kaštelom i pripadnim mu područjem, bratovštinama i fontikom.
Porečki biskup Vincenzo Maria Mazzoleni (1731.-1741.) ustvrdio kako na Vrsarštini 1737. godine ima mnogo šuma te neobrađenih zemljišta kao posljedice malog broja stanovnika čiji je broj pred malo vremena dosezao brojku od tisuću. Te je godine Vrsar imao oko 200 stanovnika, uključujući žene i djecu.
U XVIII. stoljeću, do 1778. godine, vrsarsko pristanište bilo je jedno od glavnih stovarišta duhana u Istri, zajedno s Rovinjem, Rapcem i Plominom, odakle su se bale duhana karavanama magaraca i mula potajno odvozile u feudalne gospoštije kojima mletačka vlast nije mogla izravno nametnuti svoje propise. Spomenuti podaci otkrivaju općenito atraktivan smještaj i političko-gospodarski položaj Vrsara u sustavu krijumčarenja različitih proizvoda glede kojih su Mlečani nametali zabrane, monopole, ograničenja i sl. Karavanski pomet iz Vrsara zasigurno je bio razvijen, ali prijeteća opasnost bili su mu mnogobrojni razbojnici, osobito došljaci iz mletačke Albanije koji su nastanjivali područje Fuškulina, Mugebe, Dračevca, Žbandaja te općenito obalnog zaleđa Poreštine.
U drugoj polovici XVIII. stoljeća Vrsar je po mnogočemu bio osobit. Njegovo područje – Vrsarska grofovija – bilo je jedini preostao vremeniti feud porečkoga biskupa te jedini općenito obalni feudalni imunitet na kojemu Mlečani nikako nisu uspijevali uspostaviti svoju vlast premda je sa svih strana bio okružen mletačkim teritorijima, gradovima i komunama.
Mletačka Republika uspjela je uspostaviti vlast u Vrsaru 1778. godine ukinuvši crkvenu grofoviju porečkoga biskupa te istovremeno protegnuvši na ovo područje mletačke zakone o teritorijalnom ustroju. Pritom je prisvojila sva prava i podavanja koja su prethodno pripadala porečkome biskupu. Time je laicizirala vrsarsko feudalno imanje, podržavila biskupijsku imovinu u Vrsaru, uključujući i njezin najprepoznatljiviji biljeg u vidu vrsarskoga kaštela, te je de iure preuzela sve kompetencije koje su prethodno pripadale porečkome biskupu. Ovaj akt Mlečana treba sagledavati u okvirima opće politike podržavljenja crkvene imovine.
U doba uspostave vlasti nad Vrsarskom grofovijom Mletačka Republika bila je suočena s ozbiljnim problemima, slabljenjem moći i utjecaja te je sigurno išla k svojemu kraju. Stoga na Vrsarštini – unatoč učestalim suprotnim mišljenjima – ona nije ostavila značajnijega traga. Izuzev isticanja znamena svetog Marka (krilatog lava s knjigom u rukama) iznad gradskih vrata, Mlečani su u Vrsaru do 1782. zadržali isti sustav javnih tereta i obveza (koje su umanjili silom prilika, a ne stoga jer im je to bila namjera), društveno-političkog ustrojstva i statutarnog uređenja.