出生苗栗西山里，後因父親林務局工作遷居新竹縣尖石鄉。小學畢業後，潘朝森考上芎林中學，受教於蕭如松。臺北師範藝術科、臺中師專畢業後，於臺北縣（今新北市）板橋國小擔任美勞教師至退休。客家電視台連續劇《彩色寧靜海》，就是以潘朝森為故事主人翁。
他擅長畫體態柔軟之女性，對於憂鬱靜謐氛圍的捕捉與展現更是一絕，她們的臉孔上有著緊閉的眼與唇和鼻樑，有著符號式的藍調情懷，自畫家1996年之後的作品多是如此。畫風充滿文學味，畫面寧靜，呈現單純中的美感。
「他的畫是『人間性』的探索，他的畫面常有『謎』一樣的人生質疑，充滿挑戰和無奈的感受。」，這是水彩畫家蕭如松為潘朝森的評語。
1972年曾代表我國參加法國坎城國際雙年展的作品〈思〉，榮獲國家榮譽獎後，又在2008年榮獲吳三連藝術獎。
