香严寺寺外有塔林。塔林是为香严寺历代高僧圆寂后所建的墓塔。在上寺东北角的竹林深处，曾经分布着几十座古塔，叫东塔林。在寺西北部的林中也有数十座古塔。叫西塔林。

香严寺东塔林

下寺塔林，据1959年参加过下寺文物调查的著名古建专家杨焕成先生回忆：“在当地调查古迹时，听当地老百姓讲，上寺的房子，下寺的塔，意思是说上寺建筑气派，下寺塔林精美，当时下寺周边大体还有上百座古塔，有砖塔、石塔等，其中还有几座琉璃宝塔最为精美。”他们在下寺不但调查了古塔规模、形制、时代，还留下几张极为珍贵的下寺塔林照片。“文革”前后上寺塔林多座塔被推倒、砸毁。下寺塔林与下寺一起在1967年没入水中。杨焕成先生说：“下寺及其塔林本来可以在异地迁建，这样就可以保全，上下两寺组成大香严寺景区完全可以像如今的少林寺、白马寺那样成为中原地区一大佛教名胜。”

西塔林

目前，上寺东、西塔林仅剩古塔40多座。在东塔林中有一座高15米，直径约2米，平面六角形，七级楼阁式汉白玉石塔。顶部雕刻有脊、瓦、檐。檐下雕刻仿木结构的斗拱，塔身遍雕莲花等图案。此塔建于清乾隆十一年（1746年），系乾隆皇帝为表彰香严寺住持高僧颛愚谧禅师而敕建的佛塔，该塔造型美观，为寺院清代石塔中罕见的精品，也是河南现存清代最高的石塔。香严东塔林由于处在茂密竹林之中，被称为“翠竹映塔”，为旧时淅川十景之一。目前，香严寺塔林也是河南省仅次于登封少林寺、汝州风穴寺外少有的几处重要寺院塔林之一。