Окончил четырехлетнюю сельскую школу, и в 1916 году — Селижаровское высшее начальное училище, после чего работал на железной дороге в Пено сплавщиком леса в верховьях Волги. В 1917 году переехал в Самару, где работал грузчиком.
В апреле 1919 года был призван в ряды Рабоче-крестьянской Красной Армии и зачислен в Самарский рабочий полк. В ходе Гражданской войны Ротмистров принимал участие в боях против войск под командованием адмирала Колчака, ликвидации Мелекесского восстания и советско-польской войне. Воевал под Бугульмой в составе Самарского рабочего полка, а затем в 42-м этапном батальоне 16-й армии Западного фронта. Впоследствии направлен для обучения на Самарские советские инженерные курсы. В 1921 году участвовал в подавлении Кронштадтского восстания.
В 1931 окончил Военную академию имени М. В. Фрунзе и был назначен на должность начальника первой части штаба 36-й Забайкальской стрелковой дивизии, дислоцировавшейся в Чите.
Летом 1937 года Павел Алексеевич Ротмистров назначен командиром 63-го стрелкового полка 21-й Приморской дивизии, а в октябре приглашен на должность преподавателя тактики Военной академии моторизации и механизации Рабоче-крестьянской Красной Армии. Сдав командование полком, прибыл в Москву. В академии изучал опыт применения танков в Испании и на Халхин-Голе. Вскоре стал кандидатом наук и доцентом. С 1939 по 1940 год принимал участие в советско-финляндской войне. Возглавлял танковый батальон и лично руководил танковыми атаками на «линию Маннергейма». После войны назначен заместителем командира 5-й танковой дивизии 3-го механизированного корпуса Прибалтийского Особого военного округа. В мае 1941 года стал начальником штаба корпуса.
С началом Великой Отечественной войны полковник Ротмистров в той же должности находился на Северо-Западном фронте.
В январе 1943 года корпус принял участие в разгроме группы войск Манштейна и освобождении Ростова-на-Дону. В феврале Павел Ротмистров вступил в командование 5-й гвардейской танковой армией, отличившейся в Курской битве. Войска армии сыграли решающую роль в разгроме ударной группировки противника под Прохоровкой. В октябре присвоено звание генерал-полковника танковых войск, а армия под его командованием в успешно действовала в Уманско-Ботошанской наступательной операции, в разгроме крупных группировок противника в районах Кировограда и Корсунь-Шевченковска.
В феврале 1944 года Ротмистрову присваивается звание маршала бронетанковых войск. Летом 5-я армия в составе 3-го Белорусского фронта участвовала в Белорусской стратегической наступательной операции, в освобождении Минска. В августе маршала назначают заместителем командующего бронетанковых и механизированных войск Красной Армии.
Ротмистров стал первым маршалом бронетанковых войск Красной армии после окружения крупной группировки вермахта в феврале 1944 года под Корсунь-Шевченковским.
С окончанием войны Павел Алексеевич занимал пост командующего бронетанковыми и механизированными войсками Группы советских войск в Германии, оставаясь там до 1948 года. Затем в той же должности находился на Дальнем Востоке.
В 1953 году Ротмистров окончил Высшую военную академию имени К. Е. Ворошилова, после чего стал в ней же начальником кафедры, вел военно-педагогическую и военно-научную работу.
В 1962 году за заслуги перед Вооруженными Силами в деле разработки военной теории, воспитания и подготовки офицерских кадров присвоено воинское звание Главного маршала бронетанковых войск.
Награжден шестью орденами Ленина (1942, 1944, 1945, 1961, 1965, 1981), орденом Октябрьской Революции (1971), 4 орденами Красного Знамени (1922, 1944, 1949, 1968), орденами Суворова 1-й степени (1944), Кутузова 1-й степени (1943), Суворова 2-й степени (1943), Красной Звезды (1940), медалями и иностранными орденами.
В 1965 году Ротмистрову присвоено звание Герой Советского Союза.
Скончался маршал Павел Алексеевич Ротмистров в Москве 6 апреля 1982 года. Похоронен на Новодевичьем кладбище в Москве.
Одна из улиц Твери в 1983 году была переименована в честь П. А. Ротмистрова.
