Teve pouco mais de três séculos de vida activa. Mandado edificar por D. Dinis, em 1310, logo em 1613 já os oficiais da câmara se queixavam que "se desfaz a fortaleza e mais casas que estão dentro do castelo, e os homens moradores da vila vão desmanchar as casas e muros da dita fortaleza para fazerem as suas obras".

Em 1217, D. Afonso II fez a doação da sua Herdade de Arraiolos, como então se chamava a terra, ao bispo de Évora, D. Soeiro, para nela se construir um castelo, mas tal permissão do rei não vingou. Apenas cerca de cem anos mais tarde, D. Dinis -O Lavrador, autêntico construtor e reformador das fortificações do país, com mais de 50 obras executadas, de raiz ou não, ordenou o levantamento de mais um dos seus redutos militares, no alto do monte de São Pedro.

O castelo tem a forma de uma elipse e é rematado no seu ponto mais elevado e central pela Igreja do Salvador, mais tarde chamada Igreja do Senhor dos Passos, a antiga matriz, construção quinhentista, muito desfigurada pelas obras de 1874, mas em que se pode ainda admirar a abóbada reticulada. Seis torres rectangulares interceptam as curvas da muralha, na qual se abriam duas portas e uma outra, já desaparecida, a Porta da Barbacã, voltada para a vila. Em defesa desta porta construiu-se a Torre do Relógio, enriquecida com coruchéus no tempo de D. Manuel I.

Figura central do Castelo de Arraiolos foi D. Nuno Álvares Pereira, segundo conde de Arraiolos (o primeiro fora um irmão de D. Inês de Castro), senhor da vila pelos préstimos a D. João I na guerra com Castela. O Condestável lá passou largas temporadas, sobretudo de 1415 a 1423. A longa Guerra da Restauração provocou enormes prejuízos à edificação, mas já antes o declínio se iniciara.
Até hoje, pois tudo o que resta são ruínas.