Tras hacerse con el poder, los nazis tardaron muy poco en anular a su oposición. Atacaron sin descanso a los partidos de izquierda, el socialdemócrata SPD y el comunista KPD. Disolvieron a los sindicatos, integrando a sus miembros en su Frente Nacional del Trabajo. Ni siquiera los grupos religiosos pudieron mantener una resistencia eficaz, con la excepción de los Testigos de Jehová.
La resistencia que pudo haber sido más eficaz, provino del interior de las fuerzas armadas. Sin embargo, los militares opuestos a Hitler eran escasos, y tenían más interés en evitar que el Führer iniciara prematuramente la guerra que en los temas políticos e ideológicos. En 1938, mientras preparaba la anexión de los Sudetes, en Checoslovaquia, el general Ludwig Beck encabezó un plan contra Hitler. Envió mensajeros a Londres y París en busca de apoyo para su complot, pero lo canceló al comprobar que ambas potencias preferían seguir con los esfuerzos diplomáticos. Si hubiera tenido éxito, se podría haber evitado la guerra.
Casi todas las acciones de los grupos de oposición-el sabotaje, imprimir e introducir literatura prohibida, programas de radio antinazis, etc- se castigaban con la pena de muerte o con trabajos forzados de por vida.
