1934
Januar: Nach Troosts Tod wird Speer Hitlers wichtigster Architekt. Er entwirft zahlreiche monumentale Repräsentativbauten klassizistischer Prägung.
In der Deutschen Arbeitsfront (DAF) leitet er das Amt "Schönheit der Arbeit". Weiterhin wird er Unterabteilungsleiter der Reichspropagandaleitung und Beauftragter für Städtebau im Stab von Rudolf Heß.

1937
Für die Weltausstellung in Paris konzipiert er den Deutschen Pavillon. Speer erhält dort den "Grand Prix" für die Gestaltung der Nürnberger Reichsparteitage und die Goldmedaille für den Deutschen Pavillon in Paris.
Hitler ernennt Speer zum Generalbauinspekteur für die Neugestaltung der Reichshauptstadt Berlin und anderer deutscher Städte.

1938
Berufung in den Preußischen Staatsrat und Auszeichnung mit dem Goldenen Parteiabzeichen der NSDAP.

1938/39
Speer entwickelt den Generalplan für den Umbau Berlins zur Welthauptstadt "Germania". Er gestaltet eine neue Reichskanzlei und entwirft Modelle für zahlreiche weitere Monumentalbauten und NS-Kultstätten. Hitler verfolgt diese Pläne aufmerksam und bietet Speer unbegrenzten finanziellen Spielraum.

1939
Seit Beginn des Zweiten Weltkriegs ist Speer zunehmend mit Wehrbauten befaßt, für die er seine eigene Organisation "Baustab Speer" aufbaut.

1941
Er wird als Vertreter des Wahlbezirks Berlin-West in den Reichstag gewählt.

1941/42
Nach dem deutschen Angriff auf die Sowjetunion wird er vom Rüstungsminister Fritz Todt mit dem Wiederaufbau der Fabriken und des Eisenbahnnetzes in der Ukraine beauftragt.

1942
15.Februar: Hitler ernennt Speer zum Nachfolger Todts, da dieser bei einem Flugzeugabsturz tödlich verunglückt ist. Er wird Reichsminister für Bewaffnung und Munition, Generalinspekteur für das Straßenwesen sowie Generalinspekteur für Wasser und Energie.
In dieser Funktion wird Speer zum verantwortlichen Leiter der gesamten Kriegswirtschaft. Als hervorragendem Organisator gelingt ihm die Umstellung der Rüstungsindustrie auf die totale Kriegswirtschaft. Trotz der Beschädigung der deutschen Infrastruktur und die Beeinträchtigung der Rohstoffversorgung durch die alliierten Bombenangriffe kann er die Rüstungsproduktion bis 1944 auf einen Höchststand steigern. Speers Organisation der Kriegswirtschaft beruht wesentlich auf dem Einsatz von Zwangsarbeitern und Häftlingen aus Konzentrationslagern (KZ). Dafür arbeitet er eng mit Heinrich Himmler und dessen Organisation Schutzstaffel (SS) zusammen. .