Nachdem die Fassade des prägenden Häuserensembles zum Römer hin zwischen 1896 und 1900 im neogotischen Stil als „teutschem Stil“ gestaltet wurde und das zentrale Haus Zum Römer einen markanten Balkon erhielt, begann man mit der großen Rathauserweiterung. Für den Bürgerbau und den Südbau, der sich bis zur Buchgasse erstrecken sollte, mussten die Teilbauten Frauenrode, Viole und Schwarzenfels ebenso weichen wie die Straßen Römergasse, Kälbergasse und Hinter dem Römer. Zudem entstand zwischen dem Großen Kornmarkt, der Barfüßergasse und dem Paulsplatz der Nordbau, der durch eine Brücke mit dem Südbau verbunden wurde.

Während der Südbau den Stil der Frührenaissance aufgriff, war der Nordbau von barocken Formen beeinflusst. Damit wollten die Architekten einen stilistischen Übergang von der Gotik über die Renaissance und den Barock zur klassizistischen Paulskirche schaffen. Bereits im Ursprungsentwurf für den großzügigen Neubau von 1898 waren zwei Türme geplant, die als Teil der Rathausfront das Amtsgebäude betonen sollten. Diese fanden im Gegensatz zu vielen anderen Details, über die im Vorfeld des Baues heftig gestritten und diskutiert wurde, von Beginn an breite Zustimmung. Die Stadtverordnung bewilligte auch die Nachkosten von insgesamt knapp 6 Millionen Mark für den Bau, der dann unter der Leitung der Architekten Franz von Hoven und Ludwig Neher zwischen 1900 und 1908 von der Firma Philipp Holzmann & Cie. realisiert wurde.

Dabei entpuppte sich die Gründung des größeren der beiden Türme schnell als besondere Herausforderung, kreuzte doch der ehemalige Braubach samt Sumpfgebiet an eben jener Stelle den Bauplatz. Fast 12 Meter tief musste gegraben werden, bis man endlich auf Felsen stieß und die gigantische Betonplatte einbringen konnte, auf der der Lange Franz steht. Mit einer Grundfläche von 17 auf 10 Meter und 4 Metern Dicke war die Gründung des Turmes für damalige Verhältnisse enorm, die Menge des benötigten Betons würde heute etwa 90 Betonmischern entsprechen.