После того, как царь Иван IV Грозный покинул этот город, в нем в буквальном смысле замерла жизнь. Надолго Александровская Слобода стала обычным царским селом. Потом большинство построек ее начали приходить в упадок. Ухудшалось и состояние укреплений.
Когда же в эту область вторглись поляки и литовцы, постройки, которые были ранее царским двором, и даже городские стены сгорели в пожаре. Однако о Слободе не забыли, и Михаил I Романов повелел, чтобы в этом городе были отстроены все постройки царского двора. Тогда и началась реконструкция палат Ивана Грозного, конюшен царских и даже иконостаса Собора Покрова.
Но не только судьба царя Ивана Грозного была тесно связана с этим местом. Много времени здесь провела и Елизавета Петровна, которая впоследствии стала императрицей. Будучи сосланной сюда в 1730 году, покинула она Александровскую Слободу только через 10 лет, когда уже венчалась на царство.
Статус города Слобода получила в 1778 году. Тогда население города в основном занималось ремеслами и торговлей. Однако особенно важное место занимали такие промыслы, как кузнечное дело и ткацкое производство. Тогда этот город был знаменитым центром ремесел, а торговля стояла на втором месте.
