Es ist sowohl im Film als auch im Buch so. Gandalf (mit Aragon, Gimli, Legolas, Eomer und Theoden) kommen nach der Schlacht bei Helms Klamm nach Isengard (das überflutet ist von den Ents) und treffen dort Merry und Pippin wieder. Sie sprechen mit Saruman und Gandalf bricht seinen Stab (und nimmt ihm damit seine Macht). Schlangenzunge wirft dabei den Palantiri nach Gandalf (verfehlt aber) und dieser nimmt den Stein mit (und Pippin benutzt den dann heimlich und hat dabei ein "Telefonat" mit Sauron persönlich - Gandalf ist ja dann entsprechend sauer (war vermutlich kein R-Gespräch)).
Später entwischen Saruman und Grima den Ents die auf sie aufpassen sollen und fliehen ins Auenland wo sie bis zur Rückkehr der vier Hobbits eine Schreckensherrschaft errichten. Dort erst ersticht Grima dann Saruman und wird von den Hobbits dann getötet.
Edit: Woran man merkt, ich habe die Bücher mehr als einmal gelesen.