L'església de Santa Margarida de Tortafè es troba situada a uns 450 metres al nord, nord-oest de la masia de la Riera de Tortafè, a llevant d'un petit turó i a 25 metres de la pista forestal que comunica la masia de la Vall de Vilaramó amb Puigreig.
De l'església romànica, que actualment es troba esfondrada, només se'n conserva, com a part més important, la capçalera. Es tractava d'una construcció d'una sola nau de 6,65 metres de llarg per 3'50 metres d'ample, rematada per un absis semicircular orientat a llevant. Les restes de la capçalera permeten creure que es tractava d'un edifici del segle XII construït amb grossos blocs de pedra quadrats, ben treballats i disposats en filades ordenades i regulars a trencajunt. La nau, feta amb murs força robusts (1,10 metres de gruix), era més ample que l'absis i per tant hi havia una gradació de murs. Al centre de l'absis hi havia una finestra de doble esqueixada, el qual es troba decorat exteriorment amb unes bandes llombardes que possiblement delimitaven grups de tres o quatre arcuacions cegues que coronaven la part superior. A l'absis també hi són visibles els forats de la bastida que hom utilitzà per la seva construcció.
