Nach Jahren der Unstimmigkeiten am Set mit ihren Kollegen - zwischen Doherty und Jennie Garth soll es angeblich zu physischen Schlägen gekommen sein - und der Crew wurde Doherty offiziell in der vierten Staffel aus Amerikas berühmtester Postleitzahl rausgeschrieben. (Schriftsteller-Produzent Larry Mollin behauptete, dass sie das Team verärgert hat, indem sie sich die Haare abgeschnitten hat, während das Staffelfinale gedreht wurde, was die Spitze des Eisberges war.)

Die Tatsache, dass Spelling bereit war, wieder mit Doherty zusammenzuarbeiten, war etwas überraschend. Aber Charmed-Schöpfer Connie M. Burge erzählte InTouch, dass der Hauptproduzent "die Idee, Shannen Doherty als Prue zu sehen sein würde, extrem unterstütze". So hatten sie ihre älteste Halliwell-Schwester, die telekinetische Kräfte hatte.

Durch Dohertys enger Freundschaft zu Holly Marie Combs schaffte auch sie es eine der Halliwell-Schwestern zu werden. Sie übernahm die Rolle der Piper, die zweitgeborene Schwester, die die Kraft hatte Zeit anzuhalten.

Als vorerst Jüngste im Bunde hatte Phoebe, die Macht in die Zukunft als auch in die Vergangenheit sehen. Für ihre Rolle wurde erst Lori Rom gecastet (und sogar eine Pilotfolge gefilmt), sie verließ die Serie allerdings aus persönlichen Gründen. Daraufhin kam Alyssa Milano zum Cast, die bereits aus den Serien "Werr ist hier der Boss?" und "Melrose Place" große Bekanntheit erlangt hatte.

Obwohl "Charmed" seit der ersten Folge ein absoluter Hit war und der Cast sich super verstand, verflog der Zauber zu Beginn der dritten Staffel. Gerüchte über größere Spannungen zwischen Doherty und Milano nahmen überhand, ohne dass jemals ein Grund angegeben wurde. Eine populäre Theorie besagt, dass Doherty auf Milanos wachsende Bekanntheit eifersüchtig war. Ein anderes ist, dass Doherty einfach frustriert war, in welche Richtung die Show ging und sie war alles andere als schüchtern, wenn es darum ging, ihre Meinung bekannt zu geben. (Serienschöpferin Constance M. Burge soll die Show vor der dritten Staffel verlassen haben, als sie frustriert war, dass die Handlung sich mehr auf die Beziehungen der Schwestern zu ihren Liebesinteressen konzentrierte als auf einander.)
Während Berichten zufolge Milano den Produzenten ein Ultimatum stellte, leugnete der Star dies. Andere Gerüchte behaupten, Doherty habe darum gebeten, die Serie zu verrlassen.

Und im Mai 2001 wurde bekannt, dass Doherty nach drei Jahren und 66 Folgen "Charmed" verlassen würde. Es war eine Art Déjà Vu für Doherty und Spelling. "Wir hatten eine lange und erfolgreiche Beziehung mit Shannen und wir wollten sie nicht zurückhalten von dem, was sie tun wollte", sagte Spelling Television in einer Erklärung. "Wir wünschen ihr alles Gute und viel Erfolg."

Da die Halliwell-Schwestern nur als "die mächtigen Drei" gegen die Unterwelt bestehen können, musste für Shannen Doherty Ersatz gefunden werden. Ab der vierten Staffel nahm daher Rose McGowan ihren Platz ein. Als Paige, die bis dato unbekannte Halbschwester, kämpfte sie bis zum Serienende an der Seite von Piper und Phoebe.

Für ihre Rolle wurden übrigens Tiffani Amber-Thiessen, die in "Beverly Hills, 90210" bereits für Shannen Doherty einsprang gefragt, doch sie lehnte die Rolle ebenso wie Jennifer Love Hewitt ab.

In ihrem Memoir "Brave" von 2018 blickte McGowan auf den Druck zurück, einer bereits etablierten Show beizutreten: "Ich würde Shannens Rolle nicht übernehmen, es war immer noch etwas Neues für die Fans, mit dem sie sich anfreunden mussten. Mir wurde gesagt, dass viele Shows einen größeren Castwechsel nicht überleben", schrieb sie. "Ich wusste, dass ich hier eine geringe Chance auf Erfolg hatte. Die Leute mussten sich so schnell wie möglich in meinen Charakter verlieben oder ‚Charmed‘ würde sterben. Ich dachte darüber nach, wie groß die Crew war und wie sie alle arbeitslos wären, würde ich versagen. Also habe ich mich ‚unbedrohlich‘ zu machen. Ich habe für die Rolle zugenommen, ungefähr fünf Kilo."

Sie schrieb auch über das toxische Verhalten der männlichen Castmitglieder und nannte ihre Zeit bei "Charmed" eine "dämonische Erfahrung" und ein "Gefängnis für ihren Geist".