Quando em 1178 os reis de Leão doaram Ponferrada à Ordem do Templo, os Templários ocuparam uma pequena fortaleza que era originalmente um castro e mais tarde uma cidadela romana.
Alargaram-no, reforçaram-no como defesa do Caminho de Santiago, e concluíram-no em 1282.
O castelo tal como o conhecemos hoje é o resultado de uma grande série de ampliações, reformas e adições.
As primeiras transformações afectaram o recinto do plano quadrado no início do século XII e continuaram nas últimas áreas construídas no final do século XV e início do século XVI.
Outras incorporações posteriores, como os estábulos em 1848 e as numerosas reformas realizadas desde o início do século XX, contribuíram para a complexidade do actual castelo.
Os brasões e escudos dos que lá viveram e contribuíram para a sua construção mostram a existência de diferentes etapas
Foi declarado Monumento Histórico-Artistico Nacional em 1924