Der in Wien als Jonas Sternberg geborene Regisseur zog bereits mit seinen Eltern als Junge nach New York. Er war seit 1914 beim Film tätig, diente aber zwischendurch sogar im Ersten Weltkrieg in dem U.S. Signal Corps. Zunächst fand Sternberg in der Filmbranche Anstellungen als Dekorationsarbeiter, dann als Cutter, Autor und Regieassistent und Darsteller von billigen Hollywood-Produktionen, bevor er 1925 mit "Die Heilsjäger" sein Regie-Debüt vorstellte. Dieser sehr experimentelle Film entstand mit äußerst bescheidenen Mitteln unter der Mitwirkung von Laiendarstellern. Der einzige Profi am Set war der Schauspieler Stuart Holmes. Doch der nahm aus Kostengründen nur einen Tag an den Dreharbeiten teil. Den Rest der Zeit sieht man nur seinen Schatten, der auch noch gedoublet wurde.
1948 erklärte Sternberg, dass "Die Heilsjäger" von all seinen Filmen das einzige wahre Kunstwerk sei, dass sein künstlerisches Credo verkünde. Dessen überraschender Erfolg rief zunächst Mary Pickford auf den Plan. Doch ein Film mit ihr als Blinde kam nicht zustande. Dann stürzte sich die Produktionsfirma MGM auf den jungen Regisseur. Doch "Der bezaubernde Sünder" traf nicht den Geschmack der Dirketion. Die ließ von Phil Rosen das Filmmaterial umarbeiten - mit schlechtem Ergebnis. Als dann auch noch die Dreharbeiten zu "Die maskierte Braut" unterbrochen und jemand anderem die Regie übertragen wurde, führte dies dazu, dass Sternberg die Nase voll hatte und bei MGM seinen Vertrag kündigte.
Anschließend war es Charlie Chaplin, der dem Gestrauchelten eine Chance gab: Sternberg sollte für ihn "Die Möwe" mit Chaplins damaligen Liebling Edna Purviance in der Hauptrolle realisieren. Doch auch diesmal wurde Sternberg bitter enttäuscht. Chaplin, sichtlich mit dem Ergebnis unzufrieden, versagte nach einer Vorstellung den Vertrieb des Films und das Werk verschwand in der Versenkung. Ab 1927 arbeitete Sternberg für die Paramount, wo er - zunächst ungenannt - Verbesserungen an den Filmen "It" und "Children Of Divorce" vornahm. Dann aber gab man ihm die Regie zu dem Film "Unterwelt" (1927) und das Risiko zahlte sich schnell aus. Der innovative Gangsterfilm - nicht nur Action, sondern auch ausgefeite Charakteranalysen - war äußerst erfolgreich und gilt mittlerweile als Stummfilmklassiker.
Nachdem Sternberg - wieder ungenannt - an der Verbesserung von Mauritz Stillers Jannings-Film "Street Of Sin" 'rumbastelte, drehte er "Sein letzter Befehl" (1928) mit dem deutschen Stummfilm-Star Emil Jannings in der Hauptrolle. Danach folgten zwei weitere Kriminalfime: "Polizei" und "Im Hafen von New York" (beide 1928). Jetzt hatte es Sternberg offenbar geschafft: Er zählte nun zu den führenden Regisseuren Hollywoods. Für seinen Kollegen Erich von Stroheim besorgte Sternberg den Schnitt für den zweiten Teil des Gigant-Projekts "Hochzeitsmarsch". Doch das Werk wurde später von einem Dritten noch einmal ummontiert. Stroheim distanzierte sich von dem Ergebnis und nach seinem Film "Queen Kelly" führten viele Streitigkeiten dazu, dass sich Stroheim endgültig mit den Studios überwarf.
Sternberg hingegen versuchte sich, so gut es ging, mit den Studios zu arrangieren. Auch sein letzter Stummfilm "Eine Nacht im Prater" beweist sein große Können. Dieser Film hat zwar eine eher durchschnittliche Story, dafür aber eine umwerfende, expressionistische Bildgestaltung. Mit "Sie nannten in Thunderbolt" drehte er seinen ersten, noch etwas holprig wirkenden Tonfilm. Dann folgte er dem Ruf der UFA und kam auf Bitten Erich Pommers und Emil Jannings nach Deutschland, um in Berlin "Der blaue Engel" (1930) zu inszenieren.
Für den "Der blaue Engel" entdeckte Sternberg die eher erfolglose Stummfilm-Schauspielerin Marlene Dietrich für die Hauptrolle der Lola Lola. Das Zusammentreffen mit der Dietrich blieb nicht ohne folgen: Obwohl die Dietrich verheiratet war, wurden die beiden auch privat ein Paar und in den sechs Jahren ihres Zusammenlebens folgten sechs weitere gemeinsame Filme: "Marokko" (1930), "Entehrt" (1931), "Shanghai-Express", "Blonde Venus" (beide 1932), "Die scharlachrote Kaiserin" (1934) und schließlich "Der Teufel ist eine Frau" (1935).
Für "Marokko" und "Shanghai Express" erhielt Sternberg jeweils eine Oscar-Nominierung, für "Entehrt" schrieb er auch das Drehbuch und steuerte - wie auch später für "Die scharlachrote Kaiserin" - Kompositionen zum Soundtrack bei. Bei "Der Teufel ist eine Frau" ersetzte er auch den Kameramann. Zwischenzeitlich übernahm er die Regie zu dem Drama "Eine amerikanische Tragödie", das von Sergej Eisenstein während seines Hollywood-Aufenthalts vorbereitet wurde. Doch Sternberg übernahm nicht das Konzept seines großen russischen Kollegen.
Weil seine Einspielergebnisse aber deutlich nachließen, wurde Sternberg schließlich von der Paramount gefeuert. Und ähnlich wie andere Kollegen - etwa Regie-Kollege Preston Sturges - ging dann die Karriere des großen Filmemachers steil bergab. Seine Filme der Folgezeit - "Schuld und Sühne" (1935) und das Musical "The King Steps Out" (1936) - besaßen nicht mehr die Kraft der Bilder von einst. Die britische Produktion "I, Claudius" für Alexander Korda wurde zum Disaster. Nach sechs Wochen immer größer werdender Probleme wurde die Produktion beendet. Das wenige brauchbare Material dieses unbeendeten Werkes fand später in der faszinierenden BBC-Dokumentation "The Epic That Never Was" Verwendung.
Sternberg werkelte danach noch ungenannt an den Filmen "Der große Walzer" und "I Take This Woman". Auch "Sergeant Madden" (1939) und "Abrechnung in Shanghai" (1941) sind eher schwächere Werke. Nachdem nach wenigen Drehtagen die Arbeit zu "Duell in der Sonne" (1946) von King Vidor übernommen wurde, hatte Sternberg genug vom Film. Doch Howard Hughes bat ihn dann vier Jahre später , für ihn den Film "Düsenjäger" zu drehen. Doch auch das Werk vermoderte langsam in Schubladen, bevor es 1957 mit Zusatzmaterial doch noch in die Kinos kam.
Nach dem ebenfalls enttäuschenden Film "Macao" (1952) - den Hughes immerhin nur zwei Jahre unter Verschluss hielt, obwohl Nicholas Ray den Film beendete - konnte Sternberg nur mit seinem letzten Werk "Die Sage von Anathahan" noch einmal sein visuelles Gestaltungsvermögen unter Beweis stellen. Dieses kuriose Werk wurde von einem Japaner produziert und ist nur mit Japanern besetzt. Sternberg selbst übernahm hier nicht nur die Rolle des Erzählers, sondern war auch Autor und Kameramann in Personal-Union. Danach versetzte sich Sternberg selbst in den Ruhestand, trat ab und zu bei Filmfestivals in Erscheinung, übernahm eine Dozentenstelle an der University Of California in Los Angeles. 1965 schrieb er unter dem kuriosen Titel "Fun In A Chinese Laundry" seine bitter-ironische Autobiografie.
Josef von Sternberg drehte außerdem die Dokumentationen "The Fashion Side Of Hollywood" (1935) und "The Town" (1944).