高遠町は現在伊那市と合併してその一部となりましたが、伊那盆地の東端に位置する山間の小さな城下町を中心とした人口7,000人ほどの町でした。古代東山道は現在の伊那市からこの高遠を経由し、のちの杖突街道（秋葉街道・金沢道）を経て茅野へ至っており、古代より上伊那の政治的な中心地だったようです。

高遠の地は戦国時代、諏訪氏の一族・高遠氏が治めていましたが、武田信玄に攻められた後に、信玄の五男・仁科盛信が高遠城主となり、ここで高遠城が改修されます。
高遠町は三峰川と藤沢川が合流する場所に、月蔵山を後背にもった天然の要害でした。
当初の城下町は城の東側にありましたが、手狭となり西側の藤沢川を越えたところに移転します。東の城下町は家中屋敷（武家町）になります。

慶長5年（1600）の関ヶ原の戦い後、高遠には2万5000石で保科正光が入り高遠藩が成立。正光は2代将軍・徳川秀忠の隠し子である幸松を養子として育て保科正之とします。これにより5000石を加増。

保科正之が家督を継いだ頃には、正之が秀忠の実子であることも周知の事実となったため、兄で３代将軍家光の計らいにより、出羽国山形藩に20万石を与えられ移封します。
入れ替わりで、出羽山形より鳥居忠春が3万2000石で入封。ところが、２代忠則のときに、江戸城警備を担当していた家臣が不祥事を起こし、藩主も連座して改易となり、高遠藩は一時廃藩となり天領となる。
その後、摂津富田林藩より内藤清枚が3万3000石で入り、８代続いて明治を迎えました。。
この内藤氏の時代に有名な絵島事件が起こります。

江戸中期、徳川６代将軍家宣の側室・月光院に仕え、その右腕として大奥を取り締まった絵島は、歌舞伎役者生島新五郎とのスキャンダル疑惑により、関係者は重い処罰を受け、絵島本人は死罪をまぬがれたものの、この遙か山の中の小さな城下町に生涯にわたり幽閉される事となります。この事件は近年になり小説や歌舞伎として取り上げられ、テレビドラマや映画化で多くの人々に知られる事になりました。

高遠の町並みは、正直最初の印象は「造られた新しい町並み」でした。昨今の旧城下町に見られる、道路拡張と町人町を模した商店街です。廃藩後の衰退が早かった為か、裏手にも古い建物は見ることができません。そんな中でも、いくつかの旧家が「新しい」町並みの中に埋もれるように残っています。