Дворец на скале строился с 1901 по 1904 годы, а в январе 1903 года его владелец принц Александр Ольденбургский в только что открытом ресторане "Гагрипш" объявил о создании климатической станции Гагра.

Строительство замка было завершено в 1904 году, а руководил процессом петербургский архитектор Григории Люцедарсий. Существует версия, что при закладке фундамент два раза давал трещину, и тогда пригласили местного подрядчика Яхье Керболая Аббасе, который и построил дворец на горе по столичным чертежам в стиле, который архитекторы называют романтическим модерном.

Годом позже возле замка был развернут Приморский парк, который наполнился различными кустами и деревьями со всего мира. На старых фотографиях видно, что замок строился поэтапно. Сначала был построен сам дворец с круглым панорамным окном в кабинете принца, трубой и ажурным металлическим завитком. Потом появилась пристроенная гостиничная часть для членов королевской крови и представителей высшей знати Российской Империи. Место становилось модным. В 1912 году его посетил сам император, правда, мельком, но все же. Седовласый принц умудрился совместить несовместимое: балы и рауты высшей знати при доброжелательном отношении горцев.

Во времена правления Сталина замок превратился в санаторий «Чайка» для советской элиты. После распада СССР строение оказалось никому не нужно, позже, в конце восьмидесятых годов прошлого века, в замке случился пожар, он сильно пострадал, потом была грузино-абхазская войны 1992-93 гг. Строение выстояло и последние несколько лет ведутся реставрационные работы.

Замок А. П. Ольденбургского расположен в старой части Гагры, на склоне горы Мамзыхша. Рядом протекает река Жоэквара. Добраться можно пешком или по канатной дороге из Приморского парка. Учитывая текущее состояние замка, доступ к нему ограничен, поэтому посетить его можно самостоятельно либо в составе экскурсии, проводимой для посетителей ресторана «Гагрипш».