Крепостта, възникнала в епохата на траките, е подложена на преустройство от Византия през IX век. Този реконструктивен подход има за цел да защити вратата на Беломорския проход и да укрепи византийската граница в този регион. Първите писмени свидетелства за крепостта се появяват през XI век в устава на създадения през този период Бачковски манастир.
Превзета е от кръстоносците по времето на Четвъртия кръстоносен поход (1202-1204 г.). Нейната устойчивост продължава до 1410 г., когато бива унищожена от османските войски. Носейки името на цар Иван Асен II, през 1231 г. той извършва значителни подобрения в структурата ѝ, насочени към укрепване и усъвършенстване.
