Cal Pou és un gran casal d'origen medieval en un costat del qual s'integra l'arc de passatge que antigament tancava el recinte fortificat de l'Astor. Consta de planta baixa i dos pisos i té la coberta a dos vessants amb el carener paral·lel a la façana. La façana de migdia, situada extramuralles, forma junt amb les cases contigües una placeta oberta. A l'extrem de llevant, formant part de la casa de Cal Pont, s'obre l'arc de passatge que dóna accés al nucli de l'Astor. Al costat hi ha el portal d'accés, descentrat en el frontis i d'arc rebaixat de pedra carejada, sobre el qual s'hi disposen de forma aleatòria diverses obertures de tipologia diversa. En destaca especialment una finestra d'època moderna situada al pis, amb motllures a l'intradós, així com la finestra lobulada d'estil gòtic que hi ha al segon pis. Aquesta darrera podria prodecir d'una edificació anterior. La façana lateral de llevant i la posterior presenten menor alçada a causa del desnivell del terreny i s'hi han construït diverses obertures de factura moderna imitant les antigues. La façana de ponent està tapada per una altra edificació. El parament dels murs és la pedra lligada amb argamassa, sense revestir.