一般认为，这里曾有“九庵一庙”，共为十刹，所以被称之为什刹海。但也有人觉得，这里水域分岔多，本名应为“十汊海”，以后讹为什刹海。

清代名臣张之洞则称它为“石锸海”，锸即闸，石锸是指前海西口建有响闸。

什刹海源头在今山西省宁武县桑干河与内蒙古兴和县洋河汇合而成的永定河故道，穿过今北京城区，后因高粱河堙塞，积水成湖，形成什刹海的雏形。在宋代时期，为了兴师进攻辽南京，宋琪所在的宋军利用高粱河一带湖泊构成阻隔辽方援兵的屏障，在金代时，因湖中生长着白莲，人们称其为白莲潭，后又成为金中都的漕运码头。