大浦天主堂の建築を請負ったのは天草出身の小山秀之進（こやまひでのしん）で、彼は天草から多くの石工や大工、土方を呼び寄せたといわれているが、その後の増改築を含め、長崎の大工も携わっている。当時浦上で一番の大工と言われた溝口市蔵（みぞぐちいちぞう）、伊王島（いおうじま）の大工棟梁・大渡伊勢吉（おおわたりいせきち）、外海の大工・川原粂吉（かわはらくめきち）などがそうだ。

当時はまだキリシタンに対して周囲の目は厳しかった時代。教会堂建設に関わるのは勇気が必要だったと思われる。その中でも、大渡伊勢吉は溝口や川原と違い仏教徒であったが、禁教下で信仰を守り続けたキリシタンのためにと、大浦天主堂建設後も地元・伊王島の教会堂建設に携わった。1879年にフランス人宣教師ブレル神父の指導のもとで旧大明寺（だいみょうじ）教会（現在、愛知県の博物館明治村に移築）、1890年にはマルマン神父の指導で馬込（まごめ）教会（台風で倒壊）を完成させている。

現在、伊王島灯台記念館として開放されている洋館、伊王島灯台旧吏員退息所（1877築）も伊勢吉によるもので、列柱7本を配したベランダや各部屋に置かれたマントルピース、間取りなど、明治初期の建築技術を語る上で貴重な文化遺産となっている。館内には、伊王島の歴史を語る上では欠かせない人物として伊勢吉の写真、経歴なども紹介されている。