24. června 1942 nařídil protektorátní ministr vnitra Richart Bienert provedení soupisu českých a moravských Cikánů -- na základě soupisu "potulných cikánů", provedeného již mezi 1. červencem 1928 a 15. srpnem 1929 -- a jejich deportaci do táborů v Letech a Hodoníně. Soupis a deportace proběhly v průběhu prvních dnů srpna 1942. "Odsud vede jen cesta do nebe", vítal zde deportované Josef Janovský půl roku předtím, než se k fyzické likvidaci Romů rozhodla berlínská vláda.

Internací v Letech prošlo celkem 1309 registrovaných osob, dalších více než 1300 osob prošlo táborem v Hodoníně u Kunštátu. Podmínky v táborech byly mimořádně nelidské a řada svědků je charakterizuje jako horší, než v Osvětimi. Týrání hladem, zimou a bitím až k smrti bylo výslovně nařízeno českým ministerstvem vnitra. V Letech zemřelo či bylo ubito nejméně 326 osob, v Hodoníně 194, z toho část v důsledku tyfové epidemie, způsobené katastrofálními hygienickými podmínkami a vysílením. Ze 30 evidovaných v táboře narozených dětí nepřežilo žádné, podle některých svědectví byla novorozeňata hned po narození topena v kádi s vodou a vyhazována do táborové latríny.

V prosinci 1942 rozhodla berlínská vláda postavit Cikány na stejnou úroveň s židy a 16. prosince 1942 Himmler nařídil jejich deportaci z Letů a Hodonína do Osvětimi. Prvních 94 dospělých bylo deportováno 3. prosince, další deportace zdržela tyfová epidemie. Na zásah Jiřího Letova z protektorátního ministerstva vnitra a německých policejních orgánů byl Josef Janovský pro neudržitelnost poměrů v táboře odvolán a nahrazen Štefanem Blahynkou z tábora v Hodoníně. Deportace do Osvětimi-Březinky proběhly v březnu až květnu 1943, kde byla většina deportovaných v noci z 2. na 3. srpna 1944 zplynována. Zbylých asi 200 osob bylo z Letů propuštěno či přemístěno do jiných zařízení. 6. srpna 1943 byl tábor Lety oficiálně uzavřen.

Genocida českých a moravských Romů a Sinti byla pravděpodobně nejdůsledněji provedenou genocidou 2. světové války. Z internovaných v Letech ji přežilo asi 300 osob. Bezprostředně po válce se stala předmětem několika trestních řízení. Jejich výsledkem bylo potrestání nejsurovějšího dozorce Josefa Lunáčka důtkou. Po únoru 1948 bylo vyvraždění Romů a Sinti postupně zapomenuto a v 70. letech byla na místě tábora zřízena velkovýkrmna vepřů.

Historii tábora Lety v roce 1992 náhodně objevil americký genealog Paul Polansky a na jistou dobu tím vyvolal bouřlivou diskusi, jejíž výsledkem bylo odkrytí památníčku za účasti prezidenta Václava Havla 13. května 1995 a vyplacení malého odškodného dosud žijícím obětem. V roce 1997 vydalo nakladatelství G+G historii tábora A nikdo vám nebude věřit od německého historika Murkuse Pape a v roce 1998 knihu rozhovorů se svědky a přeživšími Tíživé mlčení od Paula Polansky, jedno z nejúděsnějších svědectví o zločinech z období války. V české interpretaci, reprezentované především historikem Ctiborem Nečasem, byly Lety nacistickým pracovním táborem a ti, kteří zde nezemřeli na tyfus byli deportováni do Osvětimi.

"Češi mají velký památník v Lidicích pro jejich mrtvé z války. To je proto, že chtějí mít památník proti Němcům. Ale my nemáme žádný náš památník, protože nás nezabíjeli Němci. Nás zabíjeli Češi." -- Eduard Čermák, syn vězňů, kteří přežili Lety.

Velkovýkrmna vepřů stojí na místě tábora v Letech dodnes.