기문에 의하면 처음에 홍복사(洪福寺)이던 것이 홍지암(洪池庵)으로 개칭(1747년) 되었으며 홍지암 상량문에 의하면 1891년 중수한 기록과 함께 모원재(慕遠齋)로 개칭되면서 남양 홍씨 문중에서 재실로 사용하고 있으며 1976년 영남유림에서 광제서원으로 격상시켜 매년 음력 3월10일 고려 은청광록대부상서 홍의(洪毅)와 고려 금자광록대부 수사공상서보문각태학사 홍관(洪灌) 양위(兩位)에게 춘향(春享)을 올리고 있다.
건물 6동 모두가 각각 특색 있는 건축물로 원형이 잘 보존되어 있고 고려 초기 건축양식을 대표할 수 있는 건축물로 보여 보존 가치가 높다.
광제서원은 정면 5칸의 맞배지붕이고, 경충사는 정면 3칸, 측면 1칸의 맞배지붕으로 아름다운 형태를 간직하고 있다.
광제서원에 들어서는 진입로의 입구에는 남양 홍씨 인물들 중 이 지역에 임관되었던 인물들에 대한 비가 세워져 있어 광제서원의 연원이 오래 되었다는 것을 알 수 있다.