El edificio es de estilo neoclásico y fue construido en el siglo XVIII en un solar ocupado por las antiguas cárceles, cerrando la parte occidental de la Praza do Obradoiro, donde está la fachada principal de la catedral. Forma un conjunto arquitectónico con el Hostal de los Reyes Católicos, a su izquierda, que fue antiguo hospital y hospedería y que desde 1954 es un parador perteneciente a la red de Paradores de Turismo. En el otro lado contrario, a su derecha, está un edificio que fue antiguo colegio mayor, conocido como Colexio de Artistas, y que en la actualidad es el Rectorado da Universidad de Santiago de Compostela, el Colexio de San Xerome.
En uno de los laterales del Pazo de Raxoi existe una cárcel. En época de la Guerra Civil española y en décadas posteriores sirvió como reclusión de represaliados políticos y era —-y aún es—- conocida como “A Falcona”. Muchas personas tienen un recuerdo muy triste de sus instalaciones y sirvió como escenario para una obra literaria de gran renombre: “O lapis do carpinteiro”, de Manuel Rivas.
En las celdas de “A Falcona” estuvieron detenidos muchos represaliados y entre ellos algunos ilustres políticos, muchos de ellos de gran relevancia en nuestros días. Entre ellos, estuvo encarcelado un joven que militaba en la política clandestina durante los años sesenta del pasado siglo veinte, en pleno franquismo, cuando él era un estudiante. Uno de sus profesores compostelanos, actualmente uno de los políticos gallegos de mayor carisma, pagó su fianza para que quedara en libertad. Ahora, aquel estudiante es un brillante alcalde de una gran ciudad española. Una triste y curiosa anécdota histórica que ha quedado oculta por la discreción de los protagonistas y por el paso del tiempo.
