在大浦天主堂下方靠右侧,矗立着两栋带有外走廊的古老庄严的建筑。白石灰墙面的旧罗典神学院(拉丁神学院)建于1875年,红砖墙的旧长崎大司教馆则建于1915年。两处建筑的设计者皆为外海地区那位多才多艺的教区神父,马克·德·罗兹神父(Father Marc de Rotz, 1840-1914)。2018年,长崎大司教区将它们改造为吉利支丹(自16世纪至明治时代日本的基督教徒)博物馆。
建于1864年的大浦天主堂是长崎地区最古老的天主教堂。1865年3月17日,浦上地区的潜伏吉利支丹就是在这里向伯纳德·帕蒂让神父(Father Bernard Petitjean)告知了他们的存在,史称“潜伏吉利支丹发现”事件。而帕蒂让神父行走长崎各处布道时,常常用全新的像章、玫瑰念珠和十字架等与本地吉利支丹团体换取旧的宗教物件,比如吉利支丹们在过去数个世纪的禁教期间所使用的玛利亚观音像。他将这些物品带回大浦天主堂,于是,大司教区拥有了一系列有趣的潜伏吉利支丹藏品,其中部分便在这里展出。此外,博物馆还按时间顺序介绍了基督教传入日本后被压制以及复兴的过程。