Zodra de Duitsers in mei 1940 Nederland hadden bezet, werd begonnen met de vervolging van het Joodse deel van de bevolking. Al na twee maanden kwam de eerste van een eindeloze reeks maatregelen, die er op waren gericht de Joodse bevolking stapsgewijs te isoleren, te beroven en uiteindelijk uit de samenleving te verwijderen (zie anti-Joodse maatregelen in Nederland voor het overzicht).
Eén van de meest met de nazi-terreur geassocieerde organisaties is ongetwijfeld de Geheime Staatspolizei, beter bekend als de Gestapo. Vanaf 1933 tot het einde van de oorlog stond de Gestapo synoniem aan terreur, marteling en moord en ook na de oorlog bezorgt de herinnering aan de Gestapo vele mensen nog steeds grote angst. De Gestapo werd een ware mythe en een begrip dat ook in onze huidige tijd nog steeds enorme bekendheid geniet. Politiemachten die het niet zo nauw nemen met de rechten van de mens worden ook tegenwoordig nog bestempeld als Gestapo-achtige organisaties.
De Höhere SS und Polizeiführer (HSSPF) en de daaraan ondergeschikte SS und Polizeiführer (SSPF) waren de meest machtige en gevreesde posten binnen de SS. In Italië en Oekrainië was de functie van Höchste SS und Polizeiführer (HöSSPF) een nog hogere positie. De functie van HSSPF werd ingevoerd op 13 november 1937 om de SS en de politie met elkaar te verbinden en verenigen. De mannen in deze functies waren direct ondergeschikt aan Himmler en hadden de supervisie over de veiligheid en het politiewezen binnen het Rijk. Geregeld hadden de HSSPF's ook de leiding over een Oberabschnitt van de Allgemeine-SS, waar hun werkgebied gelijk aan was. Na de inval van Polen werden HSSPF's ook aangesteld in bezette gebieden. Vanwege de geografische grootte van het gebied werd de functie van SSPF specifiek opgericht voor bezet gebied in Polen en Rusland, om taken van de HSSPF te verlichten.
Gedurende de geschiedenis van het Derde Rijk waren meerdere personen en instanties betrokken bij de organisatie en het beheer van de concentratiekampen. Alle kampen die door de nazi’s officieel werden benoemd tot Konzentrationslager (KL of KZ), zoals Dachau, Buchenwald en Neuengamme, stonden tot 1942 onder het gezag van de Inspektor der Konzentrationslager (inspecteur van de concentratiekampen). Zijn bureau werd weliswaar enkele malen verplaatst naar verschillende afdelingen binnen de SS, maar de doelstelling bleef hetzelfde: het toezien op de wijze waarop de concentratiekampen door de kampleiding bestuurd en beheerd werden.
Een belangrijke component van de SS was de Sicherheitsdienst (SD). Net zoals de Abwehr de Wehrmacht voorzag van inlichtingen deed de SD dit voor de SS. De SD werd opgericht in maart 1931 toen Heinrich Himmler door de groei van de SS het noodzakelijk vond om een inlichtingendienst ten bate van de veiligheid op te richten. Vooral leden van de Allgemeine-SS met enige intellectuele achtergrond werden opgenomen binnen de gelederen van de SD. Voordat Hitler aan de macht kwam, was het vooral de taak van de SD om politieke tegenstanders in de gaten te houden. Bijgehouden werd wanneer politieke tegenstanders vergaderingen en andere bijeenkomsten organiseerden en of er mogelijk aanvallen te verwachten vielen tijdens bijeenkomsten van de NSDAP. Ook evalueerde de SD de veiligheid van de partijleiders, maar hield zij evengoed partijleden in de gaten om een opstand van binnenuit te voorkomen.
De SS-Totenkopfverbände (SS-TV) waren belast met de bewaking van de concentratiekampen in het Derde Rijk. Deze bewakingsformatie werd in 1934 opgericht door Theodor Eicke, de eerste commandant van concentratiekamp Dachau en later inspecteur van de concentratiekampen (Inspektor der Konzentrationslager). Hij had van Reichsführer-SS Heinrich Himmler het bevel gekregen om voor elk concentratiekamp een bewakingseenheid op te richten die buiten het bevel van de Allgemeine-SS viel. Eicke richtte vijf formaties op, Totenkopfsturmbanne, die gezamenlijk de Totenkopfverbände (doodshoofdformaties) werden genoemd. De eenheid kreeg deze naam omdat de manschappen, naast het doodshoofd dat op elk hoofddeksel van de SS afgebeeld stond, een doodshoofd op de rechterkraagspiegel van hun uniform droegen. Eicke leerde zijn mannen om zich gedisciplineerd te gedragen ten opzichte van hun meerderen, maar wreed en meedogenloos tegen hun gevangenen te zijn. Hij creëerde zo een eenheid die berucht werd vanwege haar buitensporige wreedheid.