Von 1952 bis 1954 wurde die Schule, die außer einer Grundschule noch eine Sonderschule sowie eine hauswirtschaftliche Schule beherbergen sollte, für den neu entstandenen Ortsteil Rot in Stuttgart Zuffenhausen von dem Architekten Günter Wilhelm geplant und gebaut.

Günter Wilhelm galt als einer der wichtigsten Fürsprecher für Reformen im Schulbau der Nachkriegsjahre. Vor allem für größere und hochwertigere Schulgrundstücke setzte er sich ein und forderte Schulbaurichtlinien nach internationalem Standard.
Die Geschoss- und Pavillonbauten der Schule, verteilt auf einem sehr großzügigen Gelände, setzten neue Maßstäbe in Stuttgart und sorgten auch international für Aufmerksamkeit. Im Jahre 1959 erhielt die Silcherschule als erste Pavillonschule Stuttgarts für ihre wegweisende Architektur den Paul-Bonatz-Preis der Stadt Stuttgart.

Heute verfügt die Grundschule über fast das gesamte großzügige Gelände und die denkmalgeschützten Gebäude.
In den Jahren 2015 bis 2019 wurde das Hauptgebäude Bau 4 saniert und technisch mit einer neuen Heizungsanlage, sowie einem energetisch sanierten Dach auf modernsten Stand gebracht. Aktuell wird die Turnhalle saniert, in den kommenden Jahren folgen die weiteren Gebäude.