Seine Karriere begann der Charakterdarsteller nach dem Besuch des Conservatoire National Superieur d'Art Dramatique in Paris bereits Ende der Fünfzigerjahre mit kleinen Rollen in Filmen wie der Abenteuerkomödie "Liebe, Lumpen, Leidenschaften" an der Seite von Eddie Constantine und in Henri Decoins Satire "Kavaliere" (beide 1957) an der Seite des früheren "Lido"-Stars Zizi Jeanmaire. Danach folgte weitere Rollen in Filmen, die hierzulande nie im Fernsehen oder Kino gelaufen sind, doch schon in dem Kinofilm "Le Mouton" (1960) war Marielle in einer Rolle zu sehen, die er später noch oft verkörpern sollte: die eines hohen Polizei-Offizier.
Doch zunächst machte Marielle in Deutschland mit der Rolle eines Bankdirektors in Jean Giraults Komödie "Balduin, der Geldschrankknacker" (1963) an der Seite des französischen Starkomikers Louis de Funès auf sich aufmerksam. Seine Rollenvielfalt stellte er schon seinerzeit unter Beweis, denn im Jahr darauf sah man ihn zusammen mit Jean-Paul Belmondo in Henri Verneuils aufwändig inszeniertem Kriegsfilm "Dünkirchen, 2. Juni 1940". Mit Belmondo stand Marielle im gleichen Jahr auch für Jean Beckers Komödie "Der Boss hat sich was ausgedacht" vor der Kamera, mit "Geliebter Schuft" folgte 1966 eine erneute Zusammenarbeit - wieder unter der Regie von Becker.
1968 gab Marielle in Philippe de Brocas Star gespickter Komödie "Pack den Tiger schnell am Schwanz" einen Playboy, bevor er sich Anfang der Siebzigerjahre mehr auf Kriminalfilme wie "Neun im Fadenkreuz" (1971) verlegte. Den Historienfilm entdeckt Marielle schließlich 1975 mit seiner Rolle in Bernard Taverniers "Wenn das Fest beginnt ...", eine opulent ausgestattete, mit ausgefeilten Dialogen brillierende, hervorragend gespielte Reflexion über die Geschichte und ihre Wirkungskräfte. Marielle zeigt hier, dass er - obwohl hierzulande unbekannter - mit seinen Kollegen Jean Rochefort und Philippe Noiret durchaus auf gleicher schauspielerischer Stufe steht. Nach vielen weiteren mehr oder weniger gelungenen Filmen folgt 1985 das Wiedersehen mit seinem Sechzigerjahre-Partner Belmondo, mit dem er für die Krimikomödie "Der Boss" vor der Kamera steht. Hier ist er einmal mehr der hohe Polizeioffizier. Noch im gleichen Jahr besetzt ihn Bernard BHlier in seinem gefeierten Erotikfilm "Der Abendanzug" an der Seite von Gérard Depardieu" als "Depressiven" und in Claude Sautets Tragikomödie "Einige Tage mit mir" (1988) glänzt er Monsieur Fonfrin.
"Die Kontroverse von Valladolid" (1991) zeigt Jean-Pierre Marielle einmal mehr in einer sehenswerten historischen Rolle, während er in Bliers Drama "Eins, zwei, drei, Sonne" (1993) gekonnt den großzügigen Einzelgänger gibt. Eine wunderbare Rolle hat er auch als Psychiatrie-Professor in Claude Millers Tragikomödie "Das Lächeln" (1994), der - deprimiert über die Diagnose, dass er einen zweiten Herzinfarkt nicht überleben wird - sich in eine Affäre mit der jungen Odile alias Emmanuelle Seigner" stürzt ... Dagegen ist die junge Ludivine Sagnier einer seiner Filmpartnerinnen in dem Liebesdrama "Die kleine Lili" (2003) - erneut unter der Regie von Claude Miller. Nur eine kleine Rolle hat Marielle dagegen in dem Blockbuster "The Da Vinci Code - Sakrileg" (2006), da er bereits nach kurzer Zeit ermordet wird. Glücklicherweise taucht der große Schauspieler zumindest in Rückblenden noch häufiger auf.
Weitere Filme mit Jean-Pierre Marielle: "Der Sechste Mann" (1957), "La fille de la pluie" (1958), "Pierrot la tendresse", "Les trois sours", "La papesse", "La brune que voilà" (alle 1960), "Climats", "Il est minuit docteur Schweitzer", "La nuit des rois" (alle 1962), "Heißes Pflaster", "Bonbons mit Pfeffer" (beide 1963), "Que personne ne sorte", "Relaxe-toi chérie", "Ich war eine männliche Sexbombe" (alle 1964), "La bonne occase", "Hundert Millionen im Eimer", "Auch große Scheine können falsch sein" (alle 1965), "Roger la Honte" (1966), "Toutes folles de lui", "L' homme à la Buick" (beide 1967), "Liebe macht lustig, Liebe tut weh" (1968), "Oh, diese Frauen" (1969), "Wenn Marie nur nicht so launisch wär", "Le pistonné" (1970), "Sex-shop", "Le petit poucet" (beide 1972), "L' affaire Crazy Capo", "Der Koffer in der Sonne", "Charlie und seine zwei Hübschen" (alle 1973), "Comment réussir... quand on est con et pleurnichard", "Un linceul n'a pas de poches", "Dis-moi que tu m'aimes" (alle 1974), ""Mordgelüste" (1975), "Ein Tollpatsch auf Abwegen", "Cours après moi que je t'attrape", "Sturmtruppen" (alle 1976), "Plus ça va, moins ça va", "Der Ankläger", "Aller Anfang macht Spaß" (alle 1977), "Hallo - ich mag dich" (1979), "L' entourloupe", "Voulez-vous un bébé Nobel?" (1980), "Pétrole! Pétrole!", "Asphalte" (beide 1981), "Emmenez-moi au théâtre: L'étrangleur s'excite", "Flirt mit dem Tod", "Jamais avant le mariage" (alle 1982), "Der schöne Schein des Reichtums" (1983), "... und das Leben geht weiter", "Les capricieux", "Partenaires" (alle 1984), "Der Filou" (1985), "Les mois d'avril sont meurtriers", "Les idiots", "Les deux crocodiles" (alle 1987), "Bouvard et Pecuchet" (1989), "Six crimes sans assassins", "Clérambard", "Uranus" (alle 1990), "Max und Jeremy" (1992), "La Tournee - Bühne frei für drei Halunken", "Der Schüler" (beide 1996), "Une pour toutes" (1999), "Madame de" (2001), "Le nouveau testament" (2003), "Morgen ziehen wir um", "Atomik Circus - Le retour de James Bataille" (beide 2004), "Galilée ou L'amour de Dieu" (2005), "Le grand Meaulnes" (2006), "Elles et moi", "Mit meinen eigenen Augen", "Der Fluchpunkt" (alle 2007), "Micmacs - Uns gehört Paris!" (2009).