본 서원(書院)은 신라(新羅) 김유신(金庾信)장군이 삼국통일(三國統一)을 완수하기 위해 전략상의 요지(要地)를 찾아다니다가 이곳 금산(金山) 아래서 진을 치고 휴식하던 중에 비몽간(非夢間)에 신령이 나타나 삼국통일 위업의 가르침을 받아 높은 공을 세웠다고 전한다.

1922년 지방 유림(儒林)들이 중건(重建)하고 경주(慶州) 서악서원(西岳書院)의 이름을 본떠 남악서원(南岳書院)이라고 하였다.

사당(祠堂)에는 김유신(金庾信)과 최치원(崔致遠) 선생(先生) 설총(薛聰) 선생(先生)의 영정을 봉안하고 있다. 사당, 서원, 솟을대문이 남북(南北)의 축상(軸上)에 놓여 있고 서원 좌우에 정면 4칸(間), 측면 2칸의 재(齋)가 각각 마주보고 있는 □자형(字形)의 좌우대칭 배치를 나타내고 있다. 서원은 정면 4칸, 측면 2칸의 오량구조(五樑構造) 팔작지붕이다.
특이한 점은 대청이 없고 툇마루가 확장되어 대청의 기능을 하고 있다. 사당은 서원 바로 뒤에 높게 자리 잡고 있으며 정면 3칸, 측면 1칸의 3량 구조 팔작지붕이며 전퇴칸(前退間)이 없는 평면형이다.