Тракай был основан в конце XIII века великим князем Гедимином, и в период с 1316 по 1323 являлся столицей Великого княжества Литовского. Правда, столицей княжества был Старый Тракай, расположенный чуть в стороне от Нового, или просто Тракая. До 1940 года город имел название Троки (Новые Троки). Тракай – визитная карточка Литвы, древняя столица славных Великих князей Литовских. Первое упоминание о Тракае относится к 1337 году. Городу было даровано Магдебургское право в 1409 году. В Тракае расположены исторические реликвии литовцев – Полуостровной (старый) замок и Островной на озере Гальве - возведённая в 14 веке каменная неприступная цитадель, так ни разу не завоёванная неприятелем. В этом замке Великий князь Литовский Витовт собирал войско на Грюнвальдскую битву в 1410 году, здесь же он спустя 20 лет и скончался. До 1535 года Тракайский замок был резиденцией Литовских князей. Затем замок успел побывать и тюрьмой, прежде чем прийти в совершенный упадок. Постепенно город пришёл в запустение в связи с изменением экономических и политических приоритетов.
Особенностью Тракая является более чем 600-летнее проживание на его территории караимов и татар. Во время крымского похода (конец 14-го века) Витовт призвал на службу несколько татарских и караимских семей. Татары несли воинскую службу, охраняли Островной замок, мосты и лично князя. Караимы занимались ростовщичеством, были ремесленниками, переводчиками и торговцами. Спустя много веков только 60 человек потомков тех крымских караимов осталось в Тракае, и их численность постоянно снижается.
