浦上天主堂有一段悲慘的歷史，在18世紀晚期至19世紀晚期的一系列宗教鎮壓行動中，浦上地區的大量吉利支丹（自16世紀至明治時代日本的基督教徒）遭到迫害。1865年，一位浦上地區的女子來到長崎的大浦天主堂，向伯納德·帕蒂讓神父（Father Bernard Petitjean, 1829-1884）說出了日本潛伏吉利支丹的存在。結果弄巧成拙，之後帕蒂讓和他在巴黎外國傳教團的同伴們對潛伏吉利支丹的傳教，卻引發了浦上地區第四次也是最後一次鎮壓行動，稱「浦上四番崩」（1867-1873）。在這次宗教鎮壓中，總計超過3000名浦上吉利支丹被流放到日本各地。
1873年，基督教禁教令被解除，有幸平安返鄉的浦上吉利支丹希望建造一座教堂，用於祈禱禮拜。最初，他們只能設立一座臨時教堂，直到1895年，一座帶有石頭裝飾的羅馬式紅磚教堂在皮埃爾—西奧多·弗雷諾神父（Father Pierre-Théodore Fraineau）的指揮下動工興建。受制於資金短缺，教徒們足足花了20年時間、於1914年終於建成這座天主教堂，但此時弗雷諾神父已經過世3年。教堂的兩座鐘樓則又是在11年後才建好。最終，浦上天主堂成為了當時亞洲最大的教堂之一。奉獻給無原罪聖母的浦上天主堂，也是長崎大司教區的主教座堂。
教堂特意選擇建在村長家宅邸的原址上，這是因為過去的250年間，村長家一直要求本地吉利支丹參與「踏繪」儀式，逼迫他們踐踏基督和聖母的畫像。不幸的是教堂所在地距離1945年8月9日被投放到長崎的那顆原子彈的爆炸中心只有幾百公尺，北塔的鐘樓被炸飛，如今還能在教堂左邊的一條小溪上找到殘骸。教堂原本有兩口鐘，其中一口在爆炸中倖存下來，至今仍在使用。
1946年，損毀的教堂被一座木結構建築替代，如今的鋼筋水泥建築於1959年建成。1980年，為迎接教皇若望保祿二世的到來，教堂鋪設了磚瓦。次年，教皇在這裡主持了彌撒。這座天主堂共可容納1000人入內禮拜。
鐘塔殘骸並不是原子彈爆炸留下的唯一痕跡，這裡還有一座頭部被燒毀的聖母瑪利亞木像。原件保留在教堂前方一角的小聖堂裡，不對遊客開放，訪客可以在教堂後面看到複製品。通往教堂的道路左側，安放一組在爆炸中燃燒損毀的原教堂聖像。道路另一側是教堂大廳，裡面陳列著在原子彈爆炸中受損的宗教物品。
庭園裡正對教堂放著一塊自山口縣荻市移來的「拷問石」。荻市是「浦上四番崩」鎮壓行動中浦上吉利支丹的流放地之一，他們被迫蹲在這塊石頭上禁受風吹日曬雨淋，直到死去或放棄信仰。