오방재는 진강부원군(晋康府院君) 하시원(河恃原)과 진양부원군(晋陽府院君) 하윤린(河潤潾) 그리고 진산부원군(晋山府院君)인 하륜(河崙)의 묘사(墓祀)를 위한 재실로 기문(記文)에 의하면 창건연대는 1450년대 중엽이었을 것으로 추정되며 창건자는 남명 조식의 생질인 신암 이준민(1524~1591)이다. 처음 창건되고 나서 임진왜란으로 전소되고 다시 1624년에 중건하고 다시 1704년에 방손 일호(一浩)대에 이르러 중수하고 기문을 적었다.
이 기문에 보면 방손 일호와 이광태가 힘을 합하여 중수하고 얼마 있지 않아 응석사 건물하나를 사서 그 목재로 수리하였는데 이때는 외손인 이광태와 장우규와 친족들이 힘을 합하여 수리하였다고 적고 있다. 그 뒤에 퇴락되었던 것을 1930년에 다시 수리하여 현재에 이르고 있으며 현재는 오방재 본 건물과 고사, 대문채가 남아있고 좌측에는 문충공 하륜의 부친인 진양부원군 하윤린의 신도비(1416)가 있고 뒷산 중턱에 진강부원군 하시원 부부묘, 진양부원군 하윤린 부부묘와 진산부원군 하륜의 묘역이 있다.