飯島陣屋は、1672年に飯島を含む南伊那一帯が幕府直轄の天領に編入された時に作られた。1677年に現在の位置に移された。伊那は木材を天竜川を使って運ぶ要所で江戸時代の建築を支えていた地域である。伊那郡には高遠藩、飯田藩、高須藩などがあり、旗本領もあったため、飯島陣屋の支配地は飛び地になっていた。陣屋は全国に50～60箇所置かれていた。
飯島陣屋には手付、手代、書役と呼ばれる役人が常駐し、さまざまな政務を執り行った。役人を統括するのは代官だが、飯島陣屋の代官は普段は江戸の役所につめており、検見るなどの重要な任務があるときに飯島についた。飯島陣屋が駿府紺屋町陣屋の出張陣屋となってからは、代官は江戸ではなく駿府で任務に就いていた。
代官は、190年間で42代を数える。