利用观军容使的权力和个人能力,鱼朝恩逐渐控制了神策军,还将神策军的规模扩大到万人以上。广德元年(763年),吐蕃进攻长安。当时负责保卫长安的禁军被击败,唐代宗逃往陕州。就在这个关键时刻,鱼朝恩率领神策军赶来保护唐代宗,算是暂时稳定了军心。
长安被郭子仪收复后,返回长安的唐代宗将鱼朝恩统帅的神策军纳入禁军,鱼朝恩也成为李辅国之后的专权大宦官。神策军则是鱼朝恩专权的根基,鱼朝恩甚至在神策军设置迫害政敌的监狱。大历五年(770年),唐代宗联合宰相和禁军将领,用;偷袭”的方式杀了鱼朝恩。
唐代宗虽然杀了鱼朝恩,但他允许鱼朝恩的宦官旧部继续控制神策军。宦官集团的势力依然很强大。唐代宗去世后,其子李适继位,是为唐德宗。唐德宗登基后决定削弱宦官对禁军的控制,任命司农卿白志贞为神策军统帅。白志贞上任后不久,藩镇就搞出了;泾原兵变”。
面对藩镇发动的;泾原兵变”,白志贞的表现极为拉胯,导致唐德宗差点丢了性命。;泾原兵变”之后,唐德宗不再信任文臣武将,对宦官的态度来了一个180度大转弯。唐德宗此后加强宦官对禁军的控制,规定禁军统帅必须由宦官担任,还将宦官的神策军升为中央禁军主力。
于是唐朝中央禁军的兵权此后便完全落入宦官手中,而且禁军之外的中央军队也都由宦官担任监军。唐朝的宦官专权彻底成形。此后的唐朝皇帝多次从宦官手中夺权的行动都宣告失败,宦官专权问题愈演愈烈,直到唐朝灭亡。