Die Rossauer Kaserne sollte gemeinsam mit der Franz Josephs-Kaserne und dem Arsenal ein strategisches Festungsdreieck bilden zum Schutz gegen innere Unruhen. Der erste Spatenstich für den Bau der Kaserne in der Rossau erfolgte am 1. August 1864. Nach sechs Jahren Bauzeit wurde das gesamte Areal am 5. Juli 1870 seiner Funktion übergeben, und die ersten Truppen zogen ein. Im Laufe der Zeit erlebte die Kaserne zahlreiche Umbauten und Änderungen in ihrer Nutzung. Während des Zweiten Weltkriegs wurde der donauseitige Infanterie-Offizierstrakt durch Bombenangriffe vollständig zerstört, jedoch anschließend weitgehend originalgetreu wieder aufgebaut.
Die Rossauer Kaserne, errichtet im späten Stil des romantischen Historismus, erinnert mit ihren Türmen, Zinnen, Trauflinien und Aufsätzen an mittelalterliche Festungsarchitektur. Bereits in den Anfangsjahren war die Ausstattung der Kaserne unzureichend und wies konzeptionelle Mängel auf, insbesondere hinsichtlich der räumlichen Proportionen und der sanitären Anlagen. Eine – freilich unbelegte – Anekdote besagt sogar, dass der Architekt sich das Leben genommen haben soll, weil er vergessen hatte, Latrinen einzuplanen. Nach ihrer Fertigstellung bot die Kaserne Platz für 2900 Soldaten und 390 Pferde. Zudem waren hier 99 Offizierswohnungen unterschiedlicher Grösse, 43 Wohnungen für verheiratete Unteroffiziere, eine Kapelle und Kanzleiräume untergebracht.
Die Kaserne beeindruckt durch ihre gewaltigen Ausmasse: Sie misst 269 Meter in der Länge und 136 Meter in der Breite. Sie umfasst drei grosse Innenhöfe. Aufgrund der Nähe zur Donau war beim Bau ein besonders stabiles Fundament erforderlich, für das rund 30’000 Pfähle in den Boden geschlagen werden mussten.
