영모재는 밀양 손씨 오곡공파 문중의 재실로 밀양 손씨의 시조인 휘(諱) 순(順), 광리군(廣理君) 휘 긍훈(兢訓), 밀성군(密城君) 휘 빈(贇), 규정공(糾正公) 휘 약수(若水), 감찰공(監察公) 휘 억(億)을 비롯하여 밀양 손씨가 이곳 수곡에 처음 입촌한 오곡(梧谷) 휘 수령(壽齡)을 향사하는 곳이다.

재실의 구조는 후면에 사우를 두고 정면에 영모재와 양쪽으로 동사(東舍)인 사견당(思見堂) 서사(관리사)를 배치하고, 문간채를 일자로 연결하는 口자형의 구조를 갖추고 있다.

재실은 19세기 중엽에 세워진 후 사소한 변형은 있으나 칸의 규모나 사용부재의 적절성, 간결한 가구(家構)등으로 조선후기의 건축 예를 잘 따르고 있다.