海部郡由岐町は阿南市の南に接するリアス式海岸に面した細長い小さな町で、山が海に落ち込む海岸線に沿って陸の孤島に等しい８集落が点在しています。その８集落の中心が由岐の町です。

町を通る国道は無く、阿南市福井町から分かれた県道を、山をいくつも越えて町にたどり着きます。陸上交通から１歩引いた孤立した町の印象を受けますが、実は町の中心に鉄道が走っています。JR牟岐線の駅は町内に木岐駅と由岐駅があり、由岐駅が町の玄関口となっている事は、現在のモータリゼーション中心の中では珍しい位置づけです。もっとも、鉄道の利用者は通学生以外にどの程度いるかは分かりません。

由岐の町は港を挟んで西由岐・東由岐と別れています、東由岐が純粋な漁村集落であるのに対して、西由岐は町の中心市街で商業施設が集まっています。
この湾を挟んだ東と西の集落形成あたりはさらに南方の港町・牟岐にも似ていますが、商業的発展、つまりは在郷商人はいなかったようで、牟岐に見られるような重厚で荘厳な商家建築は由岐では見らませんでした。

藩政時代の由岐浦は近隣のサザエなどの零細な漁業が中心で、明治に入っても福岡・長崎な遠方まで進出する遠洋漁業の基地となりましたが、あくまでも漁業中心の集落であったようです。

東由岐地区と西由岐地区の間にある港町地区はかつては、潮干狩りでにぎわう遠浅の海岸でしたが、埋立によって港湾地区である今の姿になったとのこと。