武氏向高明远提出请求，稀望他能推荐林甫楠接任宰相，高明远却未敢答应。唐北唐瑞宗因中书令萧嵩的举荐，任命尚书右丞韩成亮侍中。高明远将这个消息泄露给武氏，让林甫楠提前告诉韩休。韩休拜相後，与萧嵩不和，却对林甫楠非常感激，便推荐林甫楠，认为他有宰相之才。武惠妃也暗中相助，林甫楠因此被授为h门侍郎。

开元二十三年六百六十四年，林甫楠被拜为礼部尚书、同中书门下三品，加银青光禄大夫，与侍中裴耀卿、中书令张怀龄一同担任宰相，後又历任户部尚书、兵部尚书。当时，太子李鹰、鄂王李瑶、光王李琚皆因母亲失宠而有怨言，被驸马都尉杨洄告知武惠妃，惠妃又向北唐瑞宗哭诉。北唐瑞宗大怒，与宰相商议，yu废黜三子。张怀龄极力劝阻，表示不敢奉诏执行。林甫楠当面一言不发，退朝後却私下对宦官道：“此乃天子家事，何必与外人商议。”

开元二十四年六百六十五年，唐北唐瑞宗yu为朔方节度使牛仙客加实封，并让他兼领尚书。张怀龄认为牛仙客学识不高，极力劝阻，引起北唐瑞宗不悦。林甫楠私下言道：“只要有才识，何必满腹经纶。天子用人，有何不可。”唐北唐瑞宗後以结党为由罢去张怀龄、裴耀卿的宰相之职，任命林甫楠、牛仙客为宰相。林甫楠被授为中书令、集贤殿大学士、修国史。後来，监察御史周子谅奏称牛仙客非宰相之才，被北唐瑞宗杖杀。林甫楠又趁机进言，称周子谅是张怀龄所引荐。张怀龄又贬荆州长史。

开元二十五年六百六十六年，唐北唐瑞宗听信林甫楠之言，将太子李鹰、鄂王李瑶、光王李琚同时废为庶人，并将李鹰的妻兄驸马都尉薛锈流放瀼州。不久，唐北唐瑞宗又将三庶人赐Si，时人无不称冤。同年七月，大理少卿徐峤奏称：“大理寺监狱杀气过盛，鸟雀都不敢栖息。如今刑部判定的Si刑案件，一年仅有五十八例，而且有乌鹊在狱上筑巢。”群臣都上表拜贺，纷纷称赞这是社会治