Ideja o novoj zgradi rodila se prije sedamnaest godina, kada je Veliko vojvodstvo postalo jedna od šest zemalja osnivača Europske unije, a vlasti su odlučile podržati imidž Luksemburga ne samo kao ekonomski napredne države, već i kao važno kulturno središte kontinenta. Međutim, sama ideja stvaranja zbirke suvremene umjetnosti i njezino arhitektonsko utjelovljenje u obliku projekta J. M. Pei je nailazila na otpor u raznim krugovima konzervativno nastrojenog društva. Kao rezultat toga, njegov je koncept nekoliko puta revidiran, obustavljen je dizajn, pa čak i gradnja. Tek 1997. godine određeno je mjesto za muzej: ruševine tvrđave Tungen (1732.), koje su bile uključene u novu zgradu. 1999. započela je gradnja, no potom je prekinuta na četiri godine jer je Pei za svoju gradnju želio koristiti samo zlatni vapnenac iz Francuske, što je stvorilo mnoge nove probleme.
Također, poteškoće su nastale s kolekcijom: budući da u Luksemburgu nikada nije postojala kolekcija umjetnosti 20. stoljeća, morala ju je stvoriti. Zbog ograničenih sredstava nije bilo govora o kupnji djela Dalija i Picassa: velika većina eksponata od 230 predmeta koji pripadaju muzeju pripada razdoblju nakon 1980. No, prema direktorici muzeja Marie-Claude Beaux, zamišljen je kako bi se zbirka dodatno proširila, prikupljala umjetnost budućnosti, umjetnost XXI stoljeća.
Kompleks se nalazi usred parka, između dvije poslovne četvrti grada. Njegova značajka je zeleni stakleni toranj iznad glavnog atrija, koji podsjeća na tvrđavu nad kojom je sagrađen. Gotovo svi podovi glavne razine izrađeni su od stakla, pa većina dvorana ima prirodno svjetlo. U prizemlju se nalaze dvije male galerije i predavaonica. Izvana su zidovi muzeja obloženi krečnjakom boje meda, glavni ulaz muzeja složena je prostorna kompozicija u obliku niše. Ukupna površina zgrade je 10.000 kvadratnih metara. m, od čega 4.800 četvornih m - izložbeni prostori. Muzej nosi ime Velikog vojvode Jeana, koji je sada upravljanje zemljom prenio na svog sina Henrija.