Зарайск упоминается в летописях под 1146 годом, когда он назывался Осётр. Археологические раскопки свидетельствуют о более раннем наличии поселения на этом месте, но более точную датировку дать в настоящий момент невозможно. Из исторических документов известно, что первоначальное поселение было уничтожено кочевниками.
В «Повести о принесении иконы Николы Заразского из Корсуня» упоминается, что в 1225 году здесь существовал вновь отстроенный город Красный. Тогда город принадлежал Рязанскому княжеству и одним из первых в 1227 году подвергся нападению хана Батыя (об этом упоминается в местных записях того времени). По легенде князь был убит, а его жена и дети выбросились из окна своего терема, не желая попасть в плен.
После разрушения татаро-монголами город снова упоминается только в XIV веке под названием Новгородок-на-Осетре.
В 1521 году при Василии III город вошёл в состав Московского княжества вместе со всей территорией Рязанского. После этого на месте деревянной церкви началось строительство каменного кремля, сохранившегося до наших дней. Крепость должна была защитить южные границы государства, войдя в Большую Засечную черту вместе с некоторыми другими крепостями.
В 1533 году новый кремль было суждено испытать на прочность во время нападения крымского хана. Нападения продолжались регулярно до конца XVI века. Город часто посещал Иван Грозный, в кремле по его велению построен Иоанно-Предтеченский храм.
Вокруг каменной крепости существовали деревянные остроги, внутри которых селились купцы, стрельцы, ремесленники и крестьяне. Позднее остроги утратили своё предназначение и разрушились.
В Смутное время в Зарайске развернулись восстания Ивана Болотникова против царя Василия Шуйского. В 1608 году город был захвачен отрядами Лжедмитрия II, в ходе обороны погибли 300 воинов из Рязани и Арзамаса. Через год город был освобождён рязанцами, после этого воеводой назначен Дмитрий Пожарский. В 1611 году после подавления очередного восстания Пожарский вместе с местными жителями вступили в Первое народное ополчение против иноземных захватчиков Москвы.
В 1612 году Нижегородским старостой Мининым Пожарский был вызван в качестве полководца для Второго народного ополчения, положившего конец Смуте и способствовавшему воцарению династии Романовых.
В XVII веке недалеко от кремля возник монастырь с каменными стенами, который впоследствии был упразднён. В 1669 году в окрестностях города спущен на воду первый русский военный корабль. После последнего нападения крымских татар в 1673 году Зарайск постепенно становится крупным торговым центром, тогда же закрепляется современное название. Начали регулярно проводиться ярмарки.
В 1681 году произошёл крупный пожар, уничтоживший деревянные постройки и повредивший Никольский собор в кремле. Собор было решено перестроить из кирпича, именно он и уцелел до настоящего времени.
В 1778 году по указу Екатерины II город получил генеральный план строительства, подразумевавший создание прямой сети улиц. Эта планировка сохранилась до сих пор.
Развитие торговли шло высокими темпами до прокладки в середине XIX века железной дороги Москва-Рязань, оказавшейся в стороне. После этого значительно развивается промышленное производство, появляются новые заводы.
В 1914 году в Зарайске был сооружён водопровод (башня сохранилась до нашего времени), затем открыты библиотеки.
С приходом советской власти постепенно разрушались церкви, переходили в государственную собственность особняки и усадьбы, помещики потеряли свои земли. В годы Великой Отечественной войны фабрики оказались временно перепрофилированы под выпуск гранат и ремонт танков.
Сейчас Зарайск - небольшой тихий городок. Наличие кремля и богатая история создают условия для развития туризма. Активно восстанавливаются памятники архитектуры.