La cara Sur del torreón de Pinto tiene dos escudos; uno de ellos pintado en azulejos y el otro, debajo del anterior, labrado en piedra.
El primero es un ajedrezado, y según Edward Cooper, es el blasón de la familia Toledo. Los jaquelados también son divisa de los Portocarrero, además de los Toledo, pero se han de descartar porque el panel de azulejos no es una forma del siglo XIV. Como aparece colocado en un ventanal bloqueado, parecen ser de época relativamente posterior. Al destacarse sobre un arco ojival cegado podría tratarse tanto de una disposición original para enmarcar el escudo como de una de las ventanas del torreón, inutilizada tiempo atrás. Esta segunda opción parece la más probable.
El segundo escudo se encuentra sobre la ventana enrejada de la cara Sur de la torre. En él está labrado en piedra el monograma IHS en minúsculas. IHS es el monograma del nombre de Jesucristo, aparece en los primeros siglos de nuestra era, a partir del nombre griego de Jesús: Ihsoyso Ihcoyc, del que sería abreviatura. Esta abreviatura es IHC, siendo sustituida la sigma final por la S, pero permaneciendo la eta griega (una e), por su similitud con la H latina, y quedando como lo conocemos ahora. El escudo y las letras presentes en la torre son de la segunda mitad del siglo XV.
