早在公元五世纪末，南朝陶弘景《名医别录》载“榧出东阳郡”；北宋严友翼著《艺苑-》认为“东阳所产之榧子，香脆与他处迥殊”。无论是医学名家，还是文人墨客，都对东阳香榧青睐有加。香榧与东阳人民的生活戚戚相关，其民俗民风民谚中都体现了香榧文化。专家考证，香榧的祖先“玉山果”、“玉山榧”、“蜂儿榧”均出自东阳,东阳是孕育香榧的圣地，具有丰富的香榧文化底蕴。
北宋著名诗人苏轼的《送郑户曹赋席上果得榧子》，对东阳香榧有“彼美玉山果, 粲为金盘实”的美誉。南宋哲学家叶适《蜂儿榧歌》诗：“平林常榧啖俚蛮, 玉山之产升金盘。”表述了对东阳“蜂儿榧”的赞美……
世界上现存的最早一部药典《新修本草》记载榧实药用：“榧实，味甘，主五痔，去三虫，蛊毒，鬼疰。生永昌。今出东阳诸郡……”药王孙思邈，伟大的医药学家李时珍等历代名医名家都在他们编著的古医籍中记录了有关香榧的药性和功效。
东阳种植香榧历史悠久，形成了特有的香榧民俗文化：一是在香榧采摘前，家庭要举行祭祖仪式，意为谢恩、求平安，这一习俗保留至今。二是在婚庆中，有些地方在新娘出嫁时，要将香榧染成红色后与花生、玉米花一起装进“果子袋”，到新郎家时向亲朋好友、邻里乡亲分“果子”。在嫁妆“荷花被”上放一根雄榧枝和一根雌榧枝，寓意忠贞的爱情；新郎新娘要面对佳宾将香榧送到对方的嘴里，象征着新婚夫妇青春永驻，早生贵子。
香榧不仅带给人们吉祥，也成为东阳山区农民的摇钱树。至今老百姓盛传着许多香榧谚语：“香榧熟、衣食足”、“吃香榧、用香榧、靠香榧”、“吃香榧、无病不求医”、“一年种榧千年香，一代种榧百代凉”、“小时栽香榧，老年得保险”、“云雾榧树老林、深山医院保健”……这些谚语道出了香榧在东阳百姓心中的重要地位，表达了榧农对香榧的依赖和依恋之情。