Первое упоминание замка Кастель-д-Аро в архивах относится к 1041 году: барселонская графиня Эрмесенда, её брат жиронский епископ Пере Руже и Гаусфред Видаль, глава рода Пальс, будучи собственниками замка, поручили его опеку монастырю Сан-Фелиу-де-Гишольс.
Сначала замок был известен как замок Бенедормиенс. Большинство этимологов сходятся на том, что это название произошло от слов bé (хорошо – кат.) и dorm (спит – кат.), вероятно, в XI веке Кастель-д-Аро как-то выделялся среди соседних деревень хорошим качеством сна. Начиная с XII века замок чаще стали называть по имени пуэбло, где он находится, которое, как и имя протекающей в окрестностях реки Ридаура, связывают с «долиной», предполагая, что именно это значение имеет прероманское слово aro.
Принадлежность к католической церкви, которая в те времена была крупным землевладельцем, сделали замок в глазах народа символом репрессий, и если крестьянам вдруг хотелось что-нибудь сломать или поджечь, чтобы как-то усмирить накопившуюся ярость, более удобной мишени, чем место, где им приходилось платить земельные налоги, не существовало. Именно с атаками разбушевавшихся крепостных, а не с военными конфликтами, связаны два эпизода в 1344 и 1462 годах, когда замок Кастель-д-Аро окружали, захватывали и разрушали.
Между XVII и XVIII веками замок Кастель-д-Аро пережил грандиозную перепланировку, по итогам которой превратился в большой укреплённый дом, что соответствовало сложившейся моде тех времён на подобные строения.
Середину XX века замок встретил в довольно плачевном состоянии, и только протесты горожан удержали правительство Кастель-д-Аро от его сноса. Запущенная в 1970 году реставрация поначалу шла с уважением к историческому облику сооружения, но после смерти археолога Микеля Олива, стоявшего во главе работ, желание завершить проект с минимальными затратами взяло верх, и в результате замок лишился многих характерных для Средних веков элементов, например, исчезли арочные перекрытия. Отдельные части оригинальной конструкции сохранились лишь с той стороны замка, что примыкает к церкви.
Сейчас замок находится в собственности муниципалитета, его помещения используются для проведения разнообразных выставок.
