Byggnaden på Riddarholmen uppfördes 1887-1890 och arkitekt var Axel F. Nyström. Byggnaden, som då var Stockholms högsta, är ett unikt exempel på det sena 1800-talets institutionsbyggande och var mycket modern för sin tid. I dag är den ett av få bevarade 1800-talshus av sin art i Europa. För att öka brandsäkerheten byggdes huset som ett "skelett" av gjutjärn med tegelbeklädnad. Gjutjärnspelare bär upp våningsplanen, balkar av valsat järn utgör bjälklag som bärs av smäckra gjutjärnskolonner. Golvet är av armerad betong, utom i de enklare lagringsutrymmena där det består av durkplåt. All inre dekor är i järn, liksom fönsterprofilerna. Dörrarna är av ångpanneplåt, med karmar och trösklar av sandsten. Endast hyllplanen är av trä. Av brandsäkerhetsskäl ville man undvika att dra in elektricitet i huset, därför gjordes fönstren så stora att man skulle kunna arbeta i dagsljuset från dessa. Trots rädslan för elektricitet installerades en av Sveriges första elhissar i huset, med motorn väl isolerad i källaren. När statens arbetstider förlängdes till sex timmar blev det dock nödvändigt med elljus i huset. Dessutom var de stora fönstren då så nedsmutsade av de förbipasserande koleldade ångloken, på den närliggande järnvägen, att de inte längre släppte in tillräckligt med ljus. Det har senare visat sig att om det arkivmaterial som förvarades i huset hade börjat brinna, skulle det sannolikt blivit en sådan upphettning av järnet att byggnaden rasat.
Huset har flera vackra dekorationsmålningar som är väl bevarade. Dessa är troligen utförda av Edvard Bergh, som bl.a. var lärare i dekorativ målning på Konstfack i Stockholm.
1968 flyttade riksarkivet till en ny byggnad i Marieberg på Kungsholmen i Stockholm.