Područje Vrsara od kasne antike sve do 1778. godine (uz vjerojatan prekid tijekom avarsko-slavenskoga doseljenja) nalazilo se pod vrhovnom i neposrednom vlašću porečkoga biskupa. Tijekom više od dvanaest stoljeća njegova postojanja u Vrsaru nije postojalo suštinsko odjeljivanje crkvenog od laičkog, a civilne strukture koje su se pojavljivale kao najviša gradska vlast proizlazile su neposredno iz vrhovnog crkvenog autoriteta i vlasti porečkoga biskupa. F. Babudri odvažio je širu teritorijalnu cjelinu kojoj je Vrsar u to vrijeme pripadao (uključivala je imanja porečkoga biskupa u Istri), a koja se i u srednjovjekovnim ispravama naziva Territorium sancti Mauri, nazvati sui generis srednjovjekovnom i novovjekovnom državom, odnosno crkvenom grofovijom porečke Crkve. Dok su drugi istarski gradovi tijekom srednjega vijeka – još od doba vlasti akvilejskih patrijarha, a osobito kasnije u doba mletačke vlasti – stekli status samoupravne komune (communitas) i donijeli svoje statute (statuta), u Vrsaru je povijesni upravni razvoj išao drugačijim putem. U doba ranog srednjeg vijeka, vjerojatno još u razdoblju franačke vlasti u Istri, porečki je biskup uspio u Vrsaru uspostaviti svoju civilnu vlast. Vrsar je osobit po tome što je tijekom srednjega vijeka očuvao političku posebnost crkvene grofovije porečke Crkve te se uspio oduprijeti uspostavi mletačke vlasti sve do 1778. godine.
Od osobite važnosti za povijest Vrsara je Eufrazijeva povlastica iz 543. godine čiji tekst ukazuje na to da je porečki biskup već i tada imao ne samo usku crkvenu jurisdikciju do Limskoga zaljeva nego i ovlast određivati porezna podavanja, što redovito pripada laičkom suverenu i dosegu njegove jurisdikcije. U doba franačke vlasti (od 774.) vladari su mogli prepoznati činjenicu da je porečki biskup od ranije – još od Justinijanova doba – u Vrsaru imao crkvenu i laičku jurisdikciju te da bi stoga de iure i de facto trebalo obnoviti kontinuitet za koji se dosada samo uzimalo da postoji kao pravna fikcija iz doba kasne antike.
Mnoge srednjovjekovne isprave pokazuju da je porečka Crkva imala velikih problema s lokalnim moćnicima te osobito s porečkom općinom koji su bespravno zaposjedali njezina zemljišta i pomicali međe teritorija. Porečka se Crkva za zaštitništvo utjecala carevima Svetog Rimskog Carstva Njemačke Narodnosti i akvilejskim patrijarsima.
Biskup je imao potpunu autonomiju u uređivanju municipalne strukture Vrsara, izboru i opozivu municipalnih službenika te u određivanju osnovnih poluga vlasti. Na primjeru vazalske kurije vidljivo je da je riječ o kolegijalnom tijelu s predsjednikom koje donosi odluke, ali ih ne proglašava već to čini biskup. Biskup je imao i potpunu poreznu autonomiju te je diskrecijski određivao vrstu i visinu podavanja. Porečki biskup tijekom povijesti nije imao pretenzije za teritorijalnim širenjem grofovije na susjedna područja. S južne strane nalazila se prirodna barijera i administrativna granica u Limskome zaljevu koja je dijelila jurisdikciju pulskog i porečkog biskupa. Na sjeveru je postojao feud Fontane, dok je u zaleđu obale postojalo feudalno imanje Gradina te, u njegovoj blizini, feud benediktinske opatije Svetog Mihovila arkanđela.
Vrsarska grofovija bila je najveće, najznačajnije i prihodovno najizdašnije imanje porečkoga biskupa. Grofovija porečkoga biskupa u Vrsaru postojala je do 1778. godine kada je ukinuta nakon smrti biskupa Gašpara Negrija. Mletački Senat iskoristio je upražnjenost (vakantnost) biskupske stolice te je ubrzo u potpunosti laicizirao područje oduzevši pritom porečkoj Crkvi biskupijski kaštel. Temeljem odluke Vijeća Desetorice u Mlecima mletački podestat u Vrsaru svim je silama pokušao doći u posjed isprave Karla V. iz 1529. godine s ciljem da njezinim uništenjem zatre svaki pravni temelj prepoznavanja i priznavanja biskupovih prava na vrsarski feud. U tome nije uspio pa je isprava do danas ostala očuvana, ponajviše zahvaljujući kanoniku Valentiniju i novom porečkom biskupu, grofu Francescu Polesiniju, motovunskom plemiću. Po ukinuću teritorij nekadašnje grofovije priključen je teritoriju Svetog Lovreča Pazenatičkog.