臺北縣（今新北市）人，1932年畢業於臺北第二師範學院演習科，曾受教於日本畫家石川欽一郎，1928年入選臺灣水彩畫展，並獲卡里巴獎。在省展初期極為活躍，在當時的畫壇上，與葉火城、李澤藩同譽為三大金剛。1959 至1979年任教於淡水工商和國立藝專。儘管未曾舉辦過個展，畢生致力於美術教育及美術活動的推廣。
吳棟材的作品以描繪臺灣鄉土風景為主，他喜歡登山涉水，與大自然為伍。用色以土黃與綠色並用，為其一貫的特色。其穩健樸實的畫風，一如他儒雅寬厚的人生觀，以沉厚的筆觸，畫出自然景色的結實肌理，予人穩重、質樸之美。
