Tehtaan hotellin päärakennus on tunnettu monella nimellä: Ramsayn talo, Kostholli, Virkamieskerho. Rakennus on valmistunut vuonna 1889. Siinä asui vuosina 1889-1906 Högforsin ruukinpatruuna Wolter Ramsay ja hänen vaimonsa Alice (o.s. Wolff). Ramsay omisti Högforsin ruukin vuosina 1885-1894.

Ramsayn taloa remontoitiin 1930- ja 1904-luvulla, jolloin mm. rakennuksen kaksi alkuperäistä tornia purettiin. Rakennuksessa asui tehtaan konttoriväkeä, poikamiehiä. Taloa kutsuttiin Kostholiksi, ja sen ruokasalissa tarjottiin aamiainen, lounas ja päivällinen. Keittiö oli tunnettu sipulikeitostaan, tosin ei makunsa puolesta.

Rakennus vaurioitui pahoin tulipalossa vuonna 1949. Tarinan mukaan itse tulipalo teki vaatimattomia tuhoja, mutta sitä suurempaa tuhoa tekivät sammutustyöt rakennukselle ja kalustolle. Palo saatiin sammutettua nopeasti, mutta vesi tärveli kaikki huonekalut ja rakenteet. Tulipalon jälkeisissä korjauksissa talo muutettiin  nykyiseen funkistyyliseen asuunsa. Talo toimi korjausten jälkeen edelleen Tehtaanhotellina ja Virkamieskerhona.

Talon nykyinen asu toteutettiin 2000-luvun alun kunnostustöissä ja remontissa. Uusin remontti on toteutettu huolella ja talon henkeä ja historiaa kunnioittaen.