Im so genannten Judenreferat liefen viele Fäden der anti-jüdischen Politik zusammen. Der Gestapo kam bei der Umsetzung der arbeitsteilig organisierten und gegen die jüdische Bevölkerung gerichteten Maßnahmen eine Schlüsselrolle zu. Dies galt für die Flut von Gesetzen und Vorschriften, die Juden aus dem öffentlichen, kulturellen und wirtschaftlichen Leben ausschlossen, sowie für einzelne Ereignisse wie etwa dem Pogrom vom November 1938. In den Tagen nach dem 10. November verhaftete die Gestapo erstmals massenhaft Männer jüdischen Glaubens und sperrte sie in Konzentrationslager ein.

Ein eigenes Referat für anti-jüdische Maßnahmen innerhalb der Politischen Polizei bzw. der Gestapo hatte es nicht von Anfang an gegeben. In den ersten Jahren standen Sozialdemokraten, Kommunisten und Teile der katholischen und evangelischen Kirche im Fokus der Politischen Polizei bzw. der Gestapo. In ihren Lageberichten richtete die Politische Polizei erst ab Herbst 1935 eine eigene Rubrik „Juden" ein. Wohl 1936 oder 1937 wurde das „Judenreferat“ unter dem Kürzel „II B 2“ (ab April 1944 „IV 4a“) innerhalb der Abteilung „Weltanschauliche Gegner“ eingerichtet.

Im November 1941 organisierten die Mitarbeiter des „Judenreferats“ die erste Deportation von Juden aus Württemberg und Hohenzollern. Sie koordinierten nicht nur die Zusammenarbeit mit den örtlichen Polizeidienststellen, Landrats- und Finanzämtern sowie der Reichsbahn, sondern kümmerten sich auch um Details. Im Sammellager auf dem Killesberg kontrollierten sie das Gepäck und sorgten für den reibungslosen Ablauf der Formalitäten. Sie begleiteten den Transport am 1. Dezember in Richtung Riga und übergaben die Gefangenen der Einsatzgruppe A. Walter Stahlecker, Befehlshaber dieser Einsatzgruppe und zwischen 1934 und 1937 selbst Leiter der Gestapo in Württemberg-Hohenzollern, hatte in Jungfernhof bei Riga ein provisorisches Konzentrationslager errichten lassen.

Nur wenige Juden entkamen den Massenerschießungen und überstanden die Unterernährung, die hygienischen Zustände und die Zwangsarbeit.