Захаржевская башня расположена на крутом склоне правого берега Смотрича между Городскими и Польскими воротами Старого города Каменец-Подольского. Башня, возведенная в конце XVI — начале XVII века на высоте 13 м от уровня реки, была дозорной и охраняла дорогу под скалой и брод через Смотрич. Круглая каменная башня имеет два яруса с деревянным перекрытием, полом башни служит скала. В стене второго яруса расположены бойницы. В XVIII веке второй ярус башни потерял своё военное значение, поэтому его бойницы заложили изнутри, крышу заменили плоским перекрытием, которое засыпали землёй.

В 1966 году, в результате воздействия грунтовых вод, подмывших скальное основание башни, обвалилась часть скалы и башенной стены. В 1983—1987 годах, по одному из проектов Евгении Пламеницкой, башню восстановили в её первоначальном виде, но пожар 2001 года значительно ухудшил внешний вид памятника архитектуры.