在大浦天主堂下方右側,矗立著兩棟帶有外走廊的莊嚴老建築。白石灰牆面的舊羅典神學院(拉丁神學院)建於1875年,紅磚牆的舊長崎大司教館則建於1915年。兩處建築的設計者皆為外海地區那位多才多藝的教區神父,馬克·德·羅茲神父(Father Marc de Rotz, 1840-1914)。2018年,長崎大司教區將這兩棟建築改造為吉利支丹(自16世紀至明治時代日本的基督教徒)博物館。
建於1864年的大浦天主堂是長崎地區最古老的天主教堂。1865年3月17日,浦上地區的潛伏吉利支丹就是在這裡向伯納德·帕蒂讓神父(Father Bernard Petitjean)告知了他們的存在,史稱「潛伏吉利支丹發現」事件。而帕蒂讓神父行走長崎各處佈道時,常常用新的徽章、玫瑰念珠和十字架與本地吉利支丹社群換取宗教文物,比如吉利支丹們在過去數個世紀的禁教期間所使用的瑪利亞觀音像。他將這些文物帶回大浦天主堂,於是大司教區就擁有了一系列有趣的潛伏吉利支丹藏品,其中部分在這裡展出。此外,博物館還按照時間順序介紹基督教傳入日本後受壓制以及復興的歷程。