日南市の中心部から国道222号を約5km北上すると「日南の小京都」と称される飫肥の町はあります。町人町の中心を国道が縦貫し夜間に通った時は、気づかずに通過してしまいました。そのような小さな城下町ですが、一歩足を踏み入れると武家屋敷が整然と区画され当時の城下町の様子が色濃く残っていました。

飫肥を治めた伊東氏がわずか５万2000石の小さな外様大名でありながら幕末まで存続できた理由は、古くから薩摩の島津氏と戦い続けた歴史があっての事ゆえ、薩摩の監視役として安堵されていたのです。しかし、それだけでなく伊藤氏は常に時の権力に対し献身的に貢献します。５万石の石高はかなり水増しした数字で実際の石高は３万とも２万とも言われています。わざわざ石高を高く見積もった訳は、幕府の重要な任務や普請を行うために、家格の資格をクリアするためだたのです。
しかしそれは、ただでさえ苦しい小藩の台所事情にさらに重くのしかかっていきました。ゆえに飫肥の風土は地味で質素。家臣も半士半農の生活を行いました。
殖産産業の育成や油津港の整備に力をいれますが、いずれも藩の厳重な管理下で行われました。その結果、飫肥には豪商が生まれません、いや生まさなかったのです。後の文献では飫肥藩は富裕層はいないかわりに極度の貧困層もいなかったとあります。

飫肥城下の構成は飫肥城址と高級家臣屋敷からなる十文字地区、中級家臣屋敷の鳥居下地区、同じく大手通りに面した大手地区に国道沿いの町人町本町地区、下級家臣の前鶴地区、そして明治以降にできた上新町と下新町からなります。

近年までほとんど当時の状態のまま残されていましたが、伝統的建造物郡保存地区に選定されたのは十文字と鳥居下の一部分それに商家のある本町の一区画だけにとどめられました。それは、 城下を縦貫する国道222号線の拡幅のため本町地区の商家の多くを取り壊す必要があったためでした。
現在国道追いには白壁風にデザインされた街並みが整備進行中です。