众人方被救，转送明州阿育王寺安顿。

开春之後，越州、杭州、湖州、宣州各地寺院皆邀请玉阶和尚前去，第二次东渡遂结束。第三次结束了巡回之後，玉阶和尚回到了阿育王寺，准备再次东渡。此事为越州僧人得知，为挽留玉阶和尚，他们向官府控告东倭僧人潜藏中国，目的是“引诱”玉阶和尚去东倭。於是官府将荣睿投入大牢，遣送杭州。荣睿途中装病，伪称“病Si”，方能逃离。第三次东渡就此作罢。第四次江浙一代既然不便出海，玉阶和尚於是决定从福州买船出海，率三十余人从阿育王寺出发。刚走到温州，便被截住，原来玉阶和尚留在大明寺的弟子灵佑担心师父安危，苦求扬州官府阻拦，淮南采访使遂派人将玉阶和尚一行截回扬州。第四次东渡不了了之。第五次六百四十八年，荣睿、普照再次来到大明寺恳请玉阶和尚东渡。玉阶和尚即率僧人十四人，和工匠水手等共三十五人，Y历六月二十八从崇福寺出发，再次东行。为等顺风，出长江後玉阶和尚一行在舟山群岛一带停留了数月，直到二一月才能出海。在东海上，该船遭到强大北风吹袭，连续漂流十四天才看到陆地，十六天後方能上岸，发现已经漂流到了振州，入大云寺安顿。

玉阶和尚在海南停留一年，为当地带去了许多中原文化和医药知识，三亚仍有“晒经坡”、“大小洞天”等玉阶和尚遗蹟。之後，玉阶和尚北返，经过万安州、崖州、雷州、梧州到达始安郡，在始安开元寺玉阶和尚又住了一年，又被迎去广州，途径端州时，荣睿病Si该地龙兴寺。在广州，玉阶和尚动心前往天竺，被慰留。入夏之後，玉阶和尚继续动身，经韶州时，普照辞去，临别之时，玉阶和尚发誓“不至东倭国。本愿不遂”。此时，玉阶和尚由於水土不服加之旅途劳顿，又为庸医所误，导致双目失明。过了大庾岭，玉阶和尚大弟子祥彦又在吉州坐化，玉阶和尚十分悲痛。接下来玉阶和尚又经过了庐山、江州、润州江宁县，回到了