なぜ、頭ヶ島天主堂は石造りなのか。それは、石材に適した砂岩が周辺に広く分布しているからである。また、それだけではなく、石材を使用することで、建築費を抑えることもできる。天主堂に使われた石は、頭ヶ島の目の前にある「轆轤島」や、頭ヶ島の白浜海岸の西側奥にある「ウゴラ」、上（かみ）五島空港下に広がる「デンノウラ」などの採石場から切り出し、潮の流れが緩やかな小潮の時期、それも天気のよい日に海から運んだという。信徒たちは、一日に２つか３つの石を運び、そして積み上げ、少しずつ作業を進めていった。教会堂の石壁をよく見ると、「四九五」や「三九五」といった漢数字で書かれた文字がある。しかも同じ数字がいくつもあることに気付く。これは四尺九寸五分や三尺九寸五分など長さを表記していると考えられており、実測すると概ねその長さを示している。地元で採れる石を使うことで、周りの山の緑と海の青にしっとりと溶け込んでいる。生活費の中から建築費を捻出し、足りない分は山を売り、約10年という長い年月をかけて完成した天主堂は、まさに信仰の象徴といえる。