Paul von Rennenkampf pocházel z rodiny baltských Němců. Jako 19-letý se přihlásil do carské ruské armády a navštěvoval pěchotní školu pro Junkery v Helsinkách. Svou vojenskou kariéru zahájil s litevským 5. kopijnickým regimentem. Promoval na Nikolajevské vojenské akademii v Petrohradu v roce 1882. Školu skončil s nejlepšími výsledky ve třídě. Jako mladý důstojník byl zařazen k 14. armádnímu sboru, kde sloužil do roku 1884 a následně ve varšavském vojenském okruhu a kazanském vojenském okruhu do roku 1886.

Následně se z něj stal starší pobočník na velitelství donských Kozáků, kde sloužil od března 1888. Jak štábní důstojník 2. armádního sboru působil od října 1889 a později, v roce 1890, byl jmenován do funkce náčelníka štábu pevnosti Osowiec. V témže roce byl povýšen na plukovníka. Od listopadu 1899 byl během služby ve funkci náčelníka štábu Transbajkalského okruhu povýšen na generálmajora. Rennenkampf velel čtyřem pěchotním batalionům, dvěma kozáckým skupinám a dvěma koňským bateriím během boxerského povstání v letech 1900-1 a byl zodpovědný za dobytí Čchi-čchi-cha-eru a Ťi-linu v Mandžusku, čímž odstranil nebezpečí hrozící Charbinu a východočínské železnici. Během tohoto tažení byl vyznamenán řádem sv. Jiří 4. a 3. stupně za svoji vzornou službu.

Po skončení povstání dostal Rennenkampf nabídku velet carské čestné stráži, ale tuto nabídku kupodivu odmítl. Následně byl pověřen velením 1. samostatné jezdecké brigádě, kde působil do roku 1904.

Rusko-Japonská válka

V únoru 1904, po vypuknutí rusko-japonské války, byl Rennenkampf jmenován velitelem transbajkalské kozácké divize. V červenci 1904 byl povýšen na generálplukovníka a v témže měsíci byl zraněn. Ze zranění se léčil až do konce bitvy o Liao-jang. Během bitvy na řece Ša-che velel divizi a později během bojů o Šen-jang velel sboru. Během bojů o Šen-jang nahradil generála Michaila Aleksejeva na pozici velitele levého křídla. Po sérii porážek, za které odpovídal jeho předchůdce se mu podařilo stabilizovat situaci. Po bitvě o Šen-jang obvinil generál Alexandr Samsonov generála Rennenkampfa ze selhání, když mu údajně neposkytl požadovanou pomoc během bojů. Tam spočívají kořeny sporu, který se měl stát oběma generálům během první světové války osudným.
 

Mezi válkami

Po rusko-japonské válce získal Rennenkampf částečně svou reputaci zpět, za zásluhy při potlačení revolucionářů na Sibiři. Za potlačení vzniku čitské republiky byl v prosinci 1910 povýšen do hodnosti armádního generála. V roce 1912 získal čestný titul generála-pobočník (v carském Rusku generál-pobočník sloužil jako osobní poradce cara) a následně byl jmenován náčelníka štábu Vilniuského vojenského okruhu.
 

První světová válka
 

Po zahájení první světové války bylo Rennenkampfovi svěřeno velení 1. ruské armády, která měla vpadnout do Východního Pruska, postupujíc ze severovýchodu. Jeho chování během bitvy u Tannenbergu, konkrétně jeho selhání kooperace s Samsonovovou 2. armádou, vyústilo k velké kritice jeho osobnosti od generála Jakova Žilinského, přičemž několik členů nejvyššího velení se ho pokusilo odvolat z velitelské funkce.

Po relativně úspěšné bitvě o Gumbinnen v polovině srpna 1914 následoval neúspěch během první bitvy o Mazurská jezera v témže měsíci, který přinutil ruská vojska stáhnout se z Východního Pruska. Další porážka v bitvě o Lodž v listopadu 1914 vedla k odvolání Rennenkampfa a obviněním z neschopnosti a zrady (kvůli svému původu). Rennenkampf rezignoval 6. října 1915 po únorové revoluci v roce 1917 byl Ruskou prozatímní vládou uvězněn v Petropavlovské pevnosti v Petrohradě. Byl obviněn ze zločinné činnosti během vedení bojů od roku 1914, včetně zpronevěry a neschopnosti velet.
 

Smrt

Po říjnové revoluci byl Rennenkampf osvobozen a přestěhoval se do Taganrogu na pobřeží Azovského moře. Tam žil pod falešným příjmením Mandusakis a vydával se za řeckého občana. Přesto bylo jeho krytí 16. března 1918 prozrazeno a bolševici zjistili jeho pravou totožnost. Nabídli mu velitelskou pozici v Rudé armádě během ruské občanské války, což však Rennenkampf odmítl. Následně byl zatčen a zanedlouho, 1. dubna 1918, popraven na osobní příkaz Vladimira Antonova-Ovsejenka.

Rennenkampfovy osobní věci a umělecké předměty, které získal během boxerského povstání jsou v současnosti vystaveny v Alferakiho paláci v Taganrogu.