Prvi kaštel u Vrsaru vjerojatno je podignut u IX. stoljeću. Premda se u literaturi pojavljuju mišljenja da je bila riječ o drvenoj građevini, to nam se ne čini suviše vjerojatnim, osobito uzme li se u obzir blizina kamenoloma, dostupnost kamena i činjenica da su sve poznate građevine toga doba izrađene u kamenu. U diplomatici vrsarski kaštel susreće se od XII. stoljeća pod nazivom castrum Ursariae. Kaštel je od svojega podizanja bio sjedište Vrsarske grofovije, ali i mjesto u kojemu je porečki biskup tijekom srednjeg i novog vijeka sastavljao mnoge isprave. O najstarijemu kaštelu i njegovu izgledu nema podataka, ali on je vjerojatno bio mnogo manjih dimenzija negoli današnji. Taj prvi kaštel preuredio je porečki biskup Oton (1256.-1282.). Iz Tomasijevih i Petronijevih opisa Vrsara proizlazi da je vrsarski kaštel smješten na najvišoj točki naselja te da je imao značajke tvrdlja. Kao takav on je prikazan i na veduti Vrsara priloženoj uz spominjano Petronijevo djelo. Kaštel je potpuno preuređen, barokiziran i proširen u doba biskupa A. Adelassija u XVII. stoljeću. Kaštel je imao obrambeni zid s romaničkim kulama, puškarnice, rezidencijalni prostor i konjušnicu. Kaštel je laiciziran i nacionaliziran 1778. godine u sklopu politike mletačkih vlasti. U XIX. stoljeću kaštel je pripao u vlasništvo obitelji Vergottini. U kaštelu je redovito rezidirao porečki biskup, osobito tijekom ratova, epidemija i nesigurnosti. Kaštel je lijepo prikazan u Franciskanskom katastru iz 1820. godine. Nakon prestanka postojanja Vrsarske grofovije 1778. godine i njegova podržavljenja kaštel je sustavno propadao. Zdanje je obnovljeno 2001. godine te danas služi kao stambeno-ladanjska zgrada u privatnome vlasništvu.
U dokumentiranoj povijesti Vrsara njegov je kaštel kudikamo najspominjanija i najvažnija građevina. Ona je bila sjedište porečkoga biskupa, u njoj su sastavljene mnoge isprave od presudne važnosti za povijest Vrsara i Vrsarštine, ali i od značenja za Istru u cjelini. To je bio oppidum, odnosno castrum u punom smislu te riječi koji se razvio iz kasnoantičkog, odnosno ranosrednjovjekovnog zbjega refugium. U diplomatičkim izvorima pojam castrum Vrsarie treba poimati s oprezom jer ovaj pojam označava kako sam vrsarski kaštel tako i najužu utvrđenu rezidencijalnu jezgru staroga grada koja se nalazila intra muros.