Місто Полонне відоме ще з часів Київської Русі, але до володінь князів Острозьких воно потрапило лише в 1494 році. Тоді великий литовський князь Олександр Ягелончик передав місто до рук князя Костянтина Івановича Острозького.  Але розквіт міста розпочався лише після того, коли Полонне перейло у володіння князя Василя-Костянтина Острозького. Князь збудував в місті дерев’яний замок на кам’яних підмурівках. Можливо, якась частина й була з цегли, але опис  першої третини XVII століття згадує лише дерев’яні споруди.

На території замку знаходився мурований костел Успіння Пресвятої Діви Марії, його будівництво розпочав ще в 1593 році князь Януш Острозький. Вірогідно костел збудовано на місці дерев’яної церкви. Вже 20 січня 1602 року в костелі відбулося вінчання доньки князя Януша Елеонори з Гієронімом Язловецьким.  Традиційно історики вважають, що костел було збудовано в 1607 році, але, мабуть, це була якась добудова до вже існуючого храму. 

Цікаво, що навесні 1603 року власником Полонного став молодший брат Януша Олександр, який був православного віросповідання і не дуже ладнав зі своїм старшим братом. Але Олександр пробув власником міста недовго –  в грудні того ж року у віці 33 років він помер. В останню путь молодшого князя відправляли як раз із Полонного. 

Незадовго до смерті князь встиг надати жителям міста привілей, за яким міщани звільнялися від податків на 20 років. Після смерті Олександра місто успадкувала його донька Софія і привнесла його в посагу родині Любомирських.