Cet ouvrage ne correspond cependant pas au plan que l'architecte Castella a donné de Rosières en 1798 et on est tenté de croire qu'il s'agit en fait de deux châteaux forts et que c'est la disposition du château que Petermann Mayor fit construire par maître Jehan Chalobroz en 1543.
Selon le contrat de construction qui est conservé, il devait avoir les mêmes dimensions que l'ancien château fort et comporter trois étages et selon toute vraisemblance l'ancien château fort; c'est-à-dire le château entouré d'eau, était déjà vétuste à l'époque et a été abandonné au profit de la nouvelle construction sur un autre site.
Mais là encore il ne subsiste rien de cet édifice qui était peut-être situé à un endroit quelque peu surélevé, proche du château actuel. Quelques vestiges de murs et l'entrée voûtée d'une galerie permettent de le supposer. L'ancien château a probablement été démoli lors de la construction du château actuel.