Coneixem amb força detall la història d'aquest mas gràcies a la publicació d'un estudi monogràfic fer per un parent de la casa: Ramon VILADÉS (2012). Aquest mas ja consta en un document del 1117 en relació a una donació del monestir de Ripoll. El document es guarda a la casa, i fins ara no s'ha pogut esbrinar exactament la relació que hi havia amb l'esmentat monestir. Des d'aquesta època hi ha constància de la família Semís i se'n coneix la seva genealogia, estudiada per un parent capellà de la família, tot i que amb algunes llacunes. El primer membre conegut d'aquesta família és Guillem de Semís (documentat el 1185). Més tard, Guillema de Semís (1281). Fins a l'any 1385 el mas apareix sempre com "des Semirs". El nom originari que se'n deriva, els Emirs, és certament evocador de l'època del domini musulmà. A partir de 1559 ja el trobem sempre com a mas del Semís. A partir del segle XIV, quan consta un tal Borràs de Semís (1318), les dades genealògiques s'han pogut documentar amb més continuïtat. El cognom Semís es va mantenir fins a mitjan segle XIX, quan Antònia Semís es casà amb un pubill, Jaume Viladés, provinent del mas de can Viladés (a Sant Amanç, Rajadell). Des d'alehores i fins a l'actualitat els propietaris del mas mantenen el cognom Vilaladés.
Ramon Viladés fa una hipòtesi de l'evolució constructiva del mas des dels seus orígens. Les obres principals estan documentades els anys 1636, 1636-73, 1696, 1705-08 (aquestes d'un volum considerable), i entre 1708 i 1740. Ja als segles XIX i XX es van fer noves obres. Com a mínim ja del segle XVII (l'any 1602, segons la inscripció d'un dels portals) existia la masoveria del Semís, al costat de la casa antiga. No es coneix la data de construcció del molí, al costat del mas, del qual el 1685 se n'amplià la bassa. En aquesta època, segons consta en documents de la casa, era portat per treballadors procedents de la immigració occitana. Aquest molí fariner, posteriorment convertit en serradora, va funcionar fins a la dècada de 1960. Darrerament amb una serra de cinta. La masia també tenia un forn de pega, que encara funcionava a mitjans de segle XX. Ja als segles XIII i XIV el Semís posseïa els masos Piques, Borrell, Jalmar i Soleràs. Més tard també Duarri, Puiggròs (comprat al mas Vilalta entorn del 1700).
