Midt i St. Olav menighet lever St. Elisabethsøstrene ut sitt klosterkall. De har eget hus i Tønsberg som nærmeste naboer til kirken. Messer og tidebønner i kapellet er åpne for deltakelse utenfra.
I Larvik har klarissene og fransiskanerne sine kommuniteter. Fransiskanerne er ansvarlige for polsk sjelesorg i Vestfold. I middelalderen var det fransiskanere i Tønsberg (kalt «gråbrødre» pga. drakten som i dag er brun). Sættargjerden i Tunsberg, den viktigste avtalen/konkordatet mellom kongemakten og Kirken i norsk middelalder ble undertegnet i gråbrødrenes kloster i Tønsberg i 1277.
I middelalderen var det i tillegg til fransiskanerne premonstratensere i Tønsberg, såkalte hvite kanniker (etter drakten) eller norbertinere (etter grunnleggeren, St. Norbert av Xanten). De hadde kloster der Tønsberg og Nøtterøy bibliotek ligger i dag og feiret gudstjenestene sine i St. Olav kirke, Nordens største rundkirke, som i dag er en åpen kirkeruin.