Temelj nove zgrade čine ruševine kasnoromaničke crkve sv. Columbe, nekada središta najveće srednjovjekovne župe Köln. 1945. uništen je tijekom zračnog napada gotovo do zemlje, samo je vapnenački Gospin kip u oltaru hrama ostao netaknut, za što je Gottfried Boehm kasnije 1950. izgradio posebnu kapelu. Istodobno, ruševine crkve pretvorene su u svojevrsni spomen-trg. Početkom 1970-ih, na njezinom su teritoriju arheolozi otkrili ostatke zgrada iz različitih doba postojanja Kölna - drevne rimske, ranosrednjovjekovne, romaničke i gotičke.
Takav je predmet kulturno-povijesne baštine sam po sebi neobično teško percipirati i sačuvati, ali kada je Muzej Kölnske biskupije odlučio sagraditi na njegovom mjestu - unutar i oko postojećih ruševina - novu zgradu koja će prikazati njezinu opsežnu zbirku vjerskih umjetnosti od kasne antike do danas, situacija se višestruko zakomplicirala. Odluka o proširenju muzeja donesena je davne 1974. godine, ali ruševine crkve sv. Columbe izabrane su za njezino novo mjesto tek početkom 1990-ih. 1997. godine održan je arhitektonski natječaj na kojem je pobijedio projekt izvrsnog švicarskog arhitekta Petera Zumthora. Žiri je primijetio izvanrednu vještinu kojom je Zumthor uspio kombinirati fragmente 2000 godina arhitektonske povijesti Kölna (od temelja zgrada starih Rimljana do kapele "Madonna u ruševinama" Boehma 1950. godine) u jedan ansambl, što je više nego samo zbroj njegovih dijelova.
Obnova i konzervacija arhitektonskih ostataka trajala je nekoliko godina, a sama izgradnja Kolumbovog muzeja započela je tek 2003. godine.
Zgrada nalikuje latiničnom L u tlocrtu i postavljena je pod pravim kutom prema ulici. Njegovi zidovi, obloženi ravnim i širokim svijetlosivim opekama s debelim slojevima vezivnog morta, uopće ne izgledaju, zahvaljujući finoj teksturi površine, rezultat rada zidara. U njih su u razini tla ugrađeni ostaci crkvenih zidova, a iznad njih izlomljeni dijelovi "perforacije" i veliki pravokutni prozori, u kontrastu s monumentalnom težinom zida debelog 60 cm. Nacrt crkve uključuje malo šljunkovito dvorište na mjesto starog župnog groblja. Posjetitelj u njega ulazi na putu od predvorja do glavne „izložbene dvorane“prvog kata. Ova "dvorana" ogromna je soba visoka 12 m, uz koju je cik-cak most postavljen preko temelja antičkih i srednjovjekovnih građevina pronađenih kao rezultat arheoloških istraživanja. Zumthor se ovdje vrlo štedljivo koristio umjetnom rasvjetom, pa gotovo sva svjetlost ulazi kroz trake malih rupa na vanjskim zidovima zgrade; iznutra, ova tehnika dodatno naglašava prividnu disemenociju ovih zidova, što se može smatrati aluzijom na principe gotičke sakralne arhitekture ili referencom na djela mističara tog doba. U isti prostor upisan je oktaedar kapele Boehm, kojem se, međutim, može pristupiti izvan muzeja.
Na kraju most vodi posjetitelja do prostorija nekadašnje sakristije, pretvorene u malo dvorište; nalazi se skulptura Richarda Serre "Utopljeni i spašeni".
Iznad prvog sloja nalaze se još dva kata izložbenih dvorana, ukupno šesnaest. Zamišljeni su kao samostojeći blokovi - "kuće", između kojih su položene "ulice" od bijelog teraca; svaka se takva dvorana razlikuje od ostalih veličinom, načinom i intenzitetom osvjetljenja i načinom pregleda. Izlošci su izloženi u njima bez poštivanja kronologije i bez ikakvih objašnjenja i tekstova. Tako su kustosi muzeja željeli postići nepristranu percepciju umjetničkih djela od strane publike.
U projektu muzeja u Kölnskoj biskupiji Zumthor je objedinio spomenike kulture iz različitih razdoblja - kako arhitektonskih, koji su smješteni in situ, tako i uključeni u muzejsku zbirku - naglašeni lakonski formalni arhitektonski jezik, ublažen pažnjom arhitekta prema specifičnostima materijal, prema taktilnim i vizualnim svojstvima; tamo posebnu ulogu ima osvjetljenje, koje je gotovo nedovoljno za cjelovit pregled izložaka, ali njihovoj percepciji daje posebnu oštrinu. Sve ovo čini ovo djelo, barem izvana, sličnim vjerskim objektima srednjeg vijeka, epohe izgradnje uništene crkve sv. Columbe, koja mu je dala ime, kao i doba hegemonije katoličanstva na teritoriju Njemačke, koja još nije poznavala preokrete Reformacije. Istodobno, uporaba tehnika svete arhitekture u zgradi muzeja - čak i muzeja religiozne umjetnosti - navodi na razmišljanje o dubokoj promjeni u sustavu prioriteta moderne osobe, ne samo o pomicanju duhovni ideali prema "svjetovnijoj" slici svijeta, ali i o određenom "populističkom" aspektu cjelokupne sfere moderne kulture. Međutim, ne treba zaboraviti da ista arhitektura srednjovjekovnih zapadnih katedrala nije bila dizajnirana za šačicu elite, već za sve vjernike bez iznimke; Možda Zumthor nastavlja ovu liniju u muzeju Columbus, obraćajući se svakom od nas kroz dizajn svoje zgrade.
