Édesanyja fodrásznő volt. Általános és középiskolába Újpestre járt. 1959-ben végezte el a Színház- és Filmművészeti Főiskolát, ahol Szinetár Miklós volt az osztályfőnöke, akit meghatározó mestereként tart nyilván a mai napig. A mesterségre tanította még Gellért Endre, Olthy Magda és Sulyok Mária. A főiskolán változtatta nevét Pásztorra, hiszen Pápay Erzsiként már játszott színésznő Magyarországon. Az akadémia elvégzése után a debreceni Csokonai Színház tagja lett, ahova Szendrő József szerződtette.

1961–1964 között a budapesti Petőfi Színházban szerepelt, az intézmény azonban megszűnt. 1964-ben egy évet töltött a szolnoki Szigligeti Színházban, ahova Berényi Gábor szerződtette, aki később a Játékszín igazgatójaként is többször meghívta a teátrumba szerepelni.

1965–1978 között a Pécsi Nemzeti Színház művésznője volt, ahol Sík Ferenccel és Babarczy Lászlóval dolgozott. Itt született meg lánya, Holl Henriette 1966-ban.

1978–1983 között a Mafilm társaságához tartozott, majd hosszú évekig a Madách Színházban játszott. Itt Kerényi Imre, a Madách Színház akkori igazgatója, 1993-ban nyugdíjazását kérte, nem maradhatott társulati tag, bár vendégként továbbjátszott a színházban.

2008-tól 2011-ig a Soproni Petőfi Színházban, 2003-tól 2015-ig a Turay Ida Színházban játszott, közben a Szegedi Nemzeti Színházban vendégszerepelt Székhelyi József invitálására 2003 és 2008 között. Az utóbbi években a Karinthy Színházban és a Játékszínben vállal szerepeket.

Alapvetően komikai tehetségét furcsa, belső indíttatású groteszk humor színezi, de a tragédia sem idegen tőle. Gyakran filmezik. A '45 utáni magyar filmtörténet egyik legfeledhetetlenebb alakítását nyújtotta a „Veri az ördög a feleségét” című film főszerepében, amelyért megkapta a Filmszemle „legjobb női alakítás” díját.

Több darabot is a pályáját meghatározó előadásaként említ, ezek közül néhányat többször is szerencséje volt eljátszani. Ilyen előadás volt Örkény: Macsakajátékában Orbánné, a Koldusopera, a Bors néni, vagy a Bernarda Alba háza című darab egy-egy szerepe.

A Soproni Petőfi Színház és a Turay Ida Színház örökös tagja.