東洋一と讃えられた煉瓦造りの教会堂が原爆で倒壊、かろうじて残った側壁の一部は1958年に原爆落下中心地に移築された。そして、旧教会堂があった場所に新しい聖堂が再建されることになった。設計施工は、教会建築で有名な鉄川（てつかわ）工務店に依頼。関東大震災により煉瓦の建物は弱いことが判明したため、鉄筋コンクリートでつくられることになった。そして、1959年に新しい聖堂が完成。正面入口の両袖には、崩壊をまぬがれた旧教会堂時代の「悲しみの聖母像」と「使徒聖ヨハネ像」を安置。堂内の中央祭壇には日本二十六聖人殉教者の聖パウロ三木、聖ヨハネ五島、聖ディエゴ喜斉の遺骨が納められた。

ただし、このときは資金面の問題もあり、コンクリートむき出しのグレーの外観であり、旧聖堂のイメージとは異なっていた。現在の煉瓦の外観に改修されたのは、ローマ教皇ヨハネ・パウロ２世（信者は「ローマのパパさま」と呼ぶ）の訪日を控えた1980年のことであった。このときの改修により、外壁にはイギリス積みの手法で煉瓦タイルが貼付けられ、窓はすべてステンドグラスに改装。正面に配された５色のステンドグラスのバラ窓が輝きを添えた。被爆から36年後、ようやく往時の面影を取り戻した教会で、敬愛なるパパさまをお迎えした浦上の信者たちの心は喜びに満ちていた。