In 1854 begon Thomas de Beer (1785-1863) een wollenstoffenfabriek aan De Veldhoven. Na een overname van het bedrijf van Pieter Mutsaerts aan de Kuiperstraat verplaatsten zijn zonen het bedrijf in 1867 naar een andere plek aan De Veldhoven. In de loop der tijd volgden er tussen het Wilhelminapark (voorheen Veldhoven) en de Kuiperstraat diverse uitbreidingen. Aan het begin van de twintigste eeuw was Thomas de Beer een van de grootste textielfabrieken in Tilburg en exporteerde onder meer naar China en Japan. In 1965 is het bedrijf gefuseerd met W. Brands & Zonen en Pessers van Zuijlen. Er waren toen 650 mensen werkzaam. In 1968 werd de weverij gesloten. De spinnerij bleef tot 1989 actief. Na sluiting kwam dat deel van het fabriekscomplex in handen van de Mr. J.H. de Pont Stichting, genoemd naar de jurist en zakenman Jan de Pont (1915-1987). Hij was advocaat en later directeur-eigenaar van AGAM Utrecht, importeur van Mercedes-Benz.
De voormalige wolspinnerij met een uitgestrekt sheddak werd door Mels Crouwel van het Amsterdamse bureau Benthem Crouwel Architecten verbouwd tot De Pont Museum dat in 1992 werd geopend. In 2016 volgde de uitbreiding van de Nieuwe Vleugel en een ruimer museumcafé, grenzend aan de museumtuin. De voormalige wolhokken doen nu dienst als expositieruimten.

Aan de Hasseltstraat zijn in 2015 drie panden gesloopt voor de bouw van een entreepoort op het voorterrein van het museum. Deze bestaat uit meerdere geschakelde doorgangen en het is een ontwerp van Benthem Crouwel Architecten. De entreepoort is een poging om iets van een oorspronkelijke rooi- en gootlijn weer te geven. Op het voorplein staat het zes meter hoge gepolijste roestvrijstalen kunstwerk Sky Mirror van de Britse kunstenaar Anish Kapoor (1954).