Der erstklassige, mit zunehmendem Alter hager asketisch wirkende Charakterdarsteller, ist in Schlesien, am Starnberger See und in Duisburg aufgewachsen. Seine Schauspielausbildung absolvierte der Schulabbrecher an der renommierten Folkwangschule in Essen. Die anschließende Bühnenkarriere gehörte mit zum Besten, was das deutschsprachige Theater zu bieten hat: Engagements am Wiener Burgtheater, am Kölner Schauspielhaus sowie auf den Bühnen in Hamburg, Berlin, Zürich, München und bei den Salzburger Festspielen.
Bereits mit 25 Jahren wurde er Ensemble-Mitglied des Bayerischen Staatschauspiels, mit 30 wurde er zum Bayerischen Staatsschauspieler nominiert. Mit 33 debütierte er als Regisseur am Münchner Residenz-Theater. Zwei Jahre später engagierte ihn das Hamburger Schauspielhaus als Mimen und Regisseur. Im Münchener Volkstheater glänzte er 1999 in dem Franz-Xaver-Kroetz-Schauspiel "Der verkaufte Großvater" und wurde dafür dmit dem Gertrud-Eysold-Ring, einer der höchsten Auszeichnungen für Theater-Schauspieler, ausgezeichnet.
Neben der Bühnenarbeit stand Hans-Michael Rehberg in zahlreichen Film- und Fernsehproduktionen ersten Ranges vor der Kamera, z.B. in: "Berlin Alexanderplatz" (1980), als Brecht in "Georg Elser - Einer aus Deutschland" (1989)", in "Schindlers Liste" (1993), neben Götz George als Kommisar Raetz in "Der Totmacher" (1995), neben Heiner Lauterbach in "Der Campus" (1997) und in "Opernball" (1997). Besonders erwähnenswert sind ferner: "Deutschlandspiel" (2000) oder "Der Schandfleck" (1999). Für seine Rolle in dem zweiteiligen Bauern-Drama erhielt Rehberg einen Sonderpreis bei der Verleihung des Bayerischen Fernsehpreises 1999. Er spielte den Stiefvater der unehlichen Leni, die um seine Zuneigung ringt.
Rehberg, obwohl auch in Komödien zu finden, war in seinen reifen Rollen ein ernster Part. Tragende Rollen als verhärmter Bauer, als asketischer Ministerialbeamter, Kardinal oder als ein vom Schicksal Gezeichneter sind sein Fach, etwa als Alkoholiker und gescheiterter Architekt neben Hans Clarin in dem österreichischen Weinbauern-Drama "Polt muss weinen" (2000). Im Fernsehen war Hans-Michael Rehberg wiederholt in den gängigen Krimireihen "Der Alte", "Rosa Roth", "Wolffs Revier", "Derrick", "Eurocops" und "Kommissar Rex" präsent.
Weitere Film- und Fernsehrollen in: "Der Pedell" (1971), "Supermarkt" (1973), "Die Konsequenz", "Die Karthause von Parma" (beide 1977), "So weit das Auge reicht" (1980), "Der Richter" (1981), "Eisenhans" (1982), "Die Kartause von Parma" (1982), "Krieg und Frieden" (1983), "Kaltes Fieber", "Der Havarist", "Donauwalzer" (alle 1984), "Schmutz", "Der Angriff der Gegenwart auf die übrige Zeit", "Rosa Luxemburg" (alle 1985), "Europa und der zweite Apfel" (1988), "Schweinegeld - Ein Märchen der Gebrüder Nimm", "Frau Berta Garlan" (beide 1989), "Das zweite Leben", "Der Tod zu Basel", "Landläufiger Tod", "Der Geschichtenerzähler", "Das Geheimnis des gelben Geparden" (alle 1990), "Liebe auf den ersten Blick" (1991), "Das tödliche Auge", "Verflixte Leidenschaft" (beide 1992), als Minister in dem Polit-Thriller "Der Fall Lucona", "Engel ohne Flügel", "Domenica" (alle 1993), "Nach uns die Sintflut" (1995), "Peanuts - Die Bank zahlt alles", "Der Mörder und die Hure", Serie "Das tödliche Auge" (alle 1996), "Vorübergehend verstorben", "Frankfurter Kreuz" (beide 1997), "Das Miststück", "Tödliche Schatten", "Tatort - Schwarzer Advent", "Geliebte Gegner" (alle 1998), als Kardinal in "Ein Mann steht auf", "Zärtliche Sterne", "Die Einsamkeit der Krokodile" (alle 1999), "Der Solist - Niemandsland", "Die Manns - Ein Jahrhundertroman", "Blumen für Polt" (alle 2001), "Gefährliche Nähe und du ahnst nichts", "Eine Liebe in Afrika" (beide 2002), "Pfarrer Braun: Der siebte Tempel", "Pfarrer Braun - Das Skelett in den Dünen", "Himmel, Polt und Hölle", "Sehnsucht", "Polterabend", "Im Namen des Herrn", "Die Frau des Architekten" (alle 2003), "Pfarrer Braun: Der Fluch der Pröpstin", "Pfarrer Braun: Ein verhexter Fall", "In einem anderen Leben" (alle 2004), "Mozart - Ich hätte München Ehre gemacht", "Tod eines Keilers" (beide 2005), "Gipfelsturm", "Pfarrer Braun - Der unsichtbare Beweis", ""Pfarrer Braun - Drei Särge und ein Baby", "Pfarrer Braun - Kein Sterbenswörtchen", "Pfarrer Braun - Unter Verdacht", "Daniel Käfer - Die Schattenuhr", "Pfarrer Braun - Das Erbe von Junkersdorf", "Pfarrer Braun - Ein Zeichen Gottes" (alle 2006), "Das zweite Leben" (2007), "Tatort - Häschen in der Grube", "Todsünde", "Lulu und Jimi", "Mord ist mein Geschäft, Liebling" (alle 2008), "Deutschland 09" (Sprecher), "Der Staat ist für die Menschen da", "Live is Life - Die Spätzünder" (alle 2009), "Kennedys Hirn", "Goethe!", "Der Gewaltfrieden", "Rosannas Tochter", "Transfer" (alle 2010), "Mein bester Feind", "Die Konterrevolution", "Der Wettbewerb", "Die Wand" (alle 2011), "Leg ihn um - Ein Familienfest" (2012), "Rosa Roth - Der Schuss", "Das finstere Tal" (beide 2013).