背靠虎地坳山，位於虎地坳道旁邊的德陽堂呂祖仙師廟為本村的一大地標。既是供奉呂祖（又名呂洞賓，一位在道教歷史上舉足輕重的人物，也是中國民間傳說中八仙之一）的參拜之處，又是在過去無數大小節慶場合中集結村民的場所。始建於1969年，村內人均俗稱「廟仔」的呂祖廟是由村民透過自發性的籌款而合力建造而成。它的誕生與虎地坳村的盂蘭勝會有深厚的淵源，而廟址亦是至今盂蘭會的舉辦所在地，兩者彼此之間可謂有著一脈相連的跨世代歷史關係。據村民所指，多位村民曾在1966年一次偶爾閒談的時候提出開辦村內的盂蘭勝會，其後便在翌年的農曆七月十四日正式舉行了第一屆的虎地坳盂蘭會，並在會上同意採用了一位名叫方通合伯伯的村民意見，請來呂祖仙師坐鎮本村。自此之後，呂祖便成為了眷佑這村的重要神明，祂的廟宇亦於數年後落成，讓來自各方的香客前來參拜。

縱使求來呂祖，但安放其位的呂祖廟一路走來的建造歷程卻一波三折。初時村內資源缺乏，廟堂只能以一間簡樸木屋的形態面世。它先有一次因地政署對廟堂提出有關違規的問題而遭強拆，後獲村民用鐵皮重新搭建，但又因不敵風暴來襲而被摧毀。這些事情促使「廟仔」在過往數個十年裹不時作出多翻變遷，過程中幸得村民間的通力籌備和集取資金的工作，方才令廟堂得以繼續扎根於虎地坳。呂祖廟已在2015年完成近年來最後一次的修葺，並在2016年對外舉辦重光大典，慶祝重修完滿。

除了就宗教信仰層面上提供供奉聖賢的地方，以及在盂蘭勝會中作為拜祭和設宴之處，呂祖廟也與居民在日常生活上息息相關。現年看似平靜安逸的虎地坳村事實上在千禧年前曾是飽受洪患的低窪地帶，每逢滂沱大雨時梧桐河便會因為其曲折狹窄的河道而造成淤塞，以致護坡未能阻擋河水泛濫。若問村民在這裹生活較為深刻的往事，相信大部份人的話題不多不少都會涉獵因水浸而導致房屋和農畜盡毀的落魄日子，尤其是一些住在下游地區的居民更需在大風雨期間逃往位於高處的呂祖廟與其他村民在屋簷下暫避，這些情景至今還歷歷在目，既驚險卻又是上一代不能磨滅的集體經歷。雖然水浸情況已在近二十多年間大有改善，但呂祖廟依然盛載著屬於村內的回憶，亦正正是連繫村中人與人之間的距離和加強身份認同感的一個定向。

今天的呂祖廟已成為了一般村務或喜慶活動的集合地點，四周的空地現為休憩空間，設有多個座位供人暫歇聊天。村民堅持從不為廟堂的大門上鎖，歡迎任何人都能隨時到來造訪，希望能如以往水浸時一樣為有需要的人打開大門，延續它多元的意義。儘管未及外間所見祠堂那樣富麗堂皇，呂祖廟卻伴隨村內各人成長和感情依附的所在，同時見證了區內生活景況和文化的演變，無庸置疑是本地社區共同記憶中不可劃割的一部分。