Il Cardinale Karl-Josef Rauber, già Nunzio Apostolico, è nato l’11 aprile 1934, a Norimberga (Nürnberg), in Arcidiocesi di Bamberg (Repubblica Federale di Germania). Dopo aver sostenuto l’esame di maturità presso il liceo benedettino di Metten, in Baviera, nel 1950 ha iniziato a studiare teologia cattolica all’università di Magonza.
Il 28 febbraio 1959 ha ricevuto dal vescovo Albert Stohr l’ordinazione sacerdotale nel duomo di Mainz, capoluogo del Land della Renania-Palatinato. Per tre anni ha svolto il ministero nella piccola comunità cattolica di Nidda, nell’Alta Assia.
A partire dal 1962 si è trasferito a Roma per la laurea in diritto canonico e ha frequentato la Pontificia accademia Ecclesiastica. Nel 1966 ha iniziato la carriera diplomatica e fino al 1977 è stato uno dei quattro segretari di Giovanni Benelli – poi divenuto cardinale arcivescovo di Firenze – nel periodo in cui egli ha ricoperto l'incarico di sostituto della Segreteria di Stato. Benelli e lo stesso Paolo VI hanno inciso sulla vita e sul ministero di Rauber in modo profondo: negli undici anni trascorsi nella Curia romana egli ha infatti acquisito una grande esperienza ecclesiastica in stretta comunione con il Papa.
Dal 1977, come consigliere di nunziatura, ha svolto il servizio nelle rappresentanze pontificie in Belgio, Lussemburgo e Grecia.
Il 18 dicembre 1982 Giovanni Paolo II lo ha nominato pro nunzio apostolico in Uganda, assegnandogli la sede titolare arcivescovile di Giubalziana. Il 6 gennaio 1983 ha ricevuto da Papa Wojtyła l'ordinazione episcopale nella basilica di San Pietro.
Nel gennaio 1990 gli è stata affidata la presidenza della Pontificia Accademia Ecclesiastica.
Tre anni dopo, è tornato al servizio diplomatico attivo prima come rappresentante pontificio in Svizzera e nel Liechtenstein (1993-1997), poi in Ungheria e in Moldavia (1997-2003); infine in Belgio e in Lussemburgo (2003-2009), terminando proprio dove aveva iniziato la carriera diplomatica.
Come Nunzio apostolico ha dovuto affrontare sfide difficili per la Chiesa: in Uganda, per esempio, ha svolto la sua opera negli anni in cui scoppiava e si diffondeva l’aids, con conseguenze devastanti sulla popolazione; in Svizzera ha collaborato ad appianare le tensioni che coinvolgevano la diocesi di Chur e il vescovo Wolfgang Haas; in Ungheria ha gestito la fase di ricucitura dei rapporti tra Stato e Chiesa dopo l'epoca comunista; in Belgio ha lavorato in un contesto sociale e politico non sempre facile; e quando a Bruxelles è stata creata anche una rappresentanza pontificia presso l’Unione Europea si è impegnato ad armonizzare e suddividere con sensibilità il lavoro delle due istituzioni diplomatiche in terra belga.
Compiuti i 75 anni, nel 2009 si è ritirato dal servizio e da allora svolgeva il ministero spirituale e pastorale in Germania, presso la casa delle suore di Maria di Schönstatt a Ergenzingen, nella Diocesi di Rottenburg-Stuttgart, mantenendo sempre un rapporto vivo con la Diocesi di Mainz.
Da Papa Francesco creato e pubblicato Cardinale nel Concistoro del 14 febbraio 2015, della Diaconia di Sant’Antonio di Padova a Circonvallazione Appia.
Il Cardinale Rauber è deceduto il 26 marzo 2023.