観音山古墳は6世紀後半に作られた前方後円墳です。墳丘長97m、後円部径61m、前方部幅63m、後円部高9.4m、前方部高9.1m、二段に造られており、葺石はありません。墳丘の周囲には盾形の周堀が二重にめぐっている。外堀まで含めた古墳の全長は185m。周囲には、大型の古墳3基や円墳が20基あり綿貫古墳群と呼ばれている。

観音山古墳の埋葬施設は、後円部二段目に作られた横穴式石室で、全長12.6mである。遺体を収める玄室は全長8.2m、幅3.8mで全国最大級の面積である。

石室の壁面には角閃石安山岩、天井には牛伏砂岩が使われている。石は榛名山の噴火によってもたらされた石を使っている。