Het Museum Rijswijk is gevestigd in een statig herenhuis in het hart van oud-Rijswijk. Het pand dateert in zijn huidige vorm uit omstreeks 1790, maar is gebouwd op de resten van een 17de eeuwse boerderij. In het midden van de vorige eeuw woonde de dichter Hendrik Tollens (1780-1856) in het pand. Hij was zo beroemd dat het huis naar hem werd vernoemd en tot op de dag van vandaag voert het Museum Rijswijk de bijnaam Het Tollenshuis