改任左拾遗。但是，张九龄与宰相姚崇的矛盾却越来越大。姚崇是唐玄宗所器重的大臣，执掌军国大权。张九龄在唐玄宗上台的第二年，就上书姚崇，提醒他“远馅躁，进纯厚”。姚崇复书嘉纳其言，在选官用人中消除过去缘亲是举的流弊，坚持以才取人，整顿吏治。

······

可以说，张九龄一生波折。

民间还流传着很多关于张九龄的故事：相传张九龄的母亲卢氏在始兴已怀孕满十月仍未分娩。

其父见妻身体粗大面黄体弱，疑是得了黄肿病。一日遇见一个看病兼算命的老先生，经诊断后，老先生告诉张九龄之父，“腹中胎儿乃非凡人物，因这个地方太小，容其不下，恐须到大地方出生。”

听罢先生一言，张家只好迁到韶州。而张九龄据说就是在那里出生的。

但张九龄出生后也曾返回始兴故里。始兴县民间流传的“捉鼠解朝廷”的故事就是来自张九龄年幼时在石头塘读书的经历。

张九龄，自幼天资聪慧，才智过人，五六岁便能吟诗作对，一时人称神童。

七岁那年春天，张九龄随家人游宝林寺。

宝林寺是名刹，香火鼎盛，风景秀丽，游客如云。张九龄被迷住了，看得津津有味。

忽报韶州府太守率州衙官员进香朝拜。殿前香客赶忙回避。

张九龄把进寺前折的桃花藏于袖中，若无其事地看着太守随从摆弄供品，没有一点害怕的样子。太守见九龄活泼天真十分可爱，想试试他的才气如何。

便问：“你莫非想吃供果？我出个对子，若对上，就给你供果吃。”

张九龄信口道：“好呀。”

太守早已看见九龄袖藏桃花，就出了个上联“白面书生袖里暗藏春色”。

张九龄接口应道：“黄堂太守胸中明察秋毫。”

太守思忖，这小孩真是个神童，再考考他。

又出一对“一位童子，攀龙攀凤攀