En aquellos días no se concebía edificación de importancia que no tuviera un mirador elevado.
El Colegio San José no sería la excepción, el padre Pedro Pommés, un entendido en arquitectura, llevó a cabo la iniciativa erigiéndolo a fines de 1870 en el centro de la manzana con una base de 6 por 5 metros y una altura de 5 pisos.
Apenas terminada la obra fue visitado por militares y declarado observatorio ideal del barrio y, en caso de revuelta, sería ocupado por la milicia figurando en los mapas militares de la época. La inauguración del mirador se hizo con la fiesta de premios del año 1871. Con su cresta almenada a modo de atalaya medieval, dominaba un entorno tranquilo de quintas y casas bajas en el entonces confín de la ciudad.