Die gut erhaltene Altstadt von Schwelm präsentiert sich mit zahlreichen klassizistischen Schiefer- und Fachwerkhäusern im bergischen Stil. Eines der ältesten Gebäude steht mitten im Zentrum der Stadt: Das alte Verwaltungsgebäude der Brauerei Schwelm.

Schwelmer Bier hat eine lange Tradition, doch Ende 2011 ging die Brauerei pleite. Am 15. November 2011 wurde das Inventar der Verwaltung, diverse technische Anlagen zum Beispiel aus dem Sudhaus und der Gärtechnik und die Abfüllanlage öffentlich versteigert. Im Juni 2012 begann der Abriss der neueren Gebäude, nur die denkmalgeschützten Teile blieben erhalten.

Auf dem Gelände der früheren Brauerei plant die Stadt nun den Neubau eines Rathauses, verbunden mit einer Ladenpassage für den Einzelhandel. Mit dem neuen Rathaus will die Stadt Schwelm Standorte zusammenzufassen und die Verwaltung bürgernah zentralisieren. Ebenfalls in das Gebäude soll die städtische Musikschule, die Stadtbücherei, das Stadtarchiv und die Schwelmer Volkshochschule einziehen.