并不是所有的朝臣都会有得意的感觉。.

自从皇上赐假让谢灵运东归会稽养病以来——谢灵运原也没病，他就夜以继日地宴集宾朋游玩娱乐，借以排解心中的郁闷。他与宾朋以文章赏会，共为山泽之游，参与其中的就有他的“四友”：东海人何长瑜、颍川人荀雍、泰山人羊璇之和他的族弟谢惠连。他在东部种种出格的行为，又被御史中丞所奏，御史中丞认为他所作所为缺乏朝廷大臣的风范。刘义隆看着奏折，不得已，免了他的官职。免官后的谢灵运不但没有收敛，反而觉得无官一身轻，就在会稽一带恣意游玩。

因为继承了父祖所留传下来的十分丰厚的家业，谢灵运家中的奴仆佣工有数千人，门生故旧也有数百，于是他就在会稽开山挖湖，劳役不止。虽然谢惠连等人后来回京做官去了，但隐士王弘之以及追随他的何长瑜等人仍是他极合宜的游玩唱和的伙伴。谢灵运在他们的伴随下，常常带着数十百人爬山涉岭，把东部方圆数百里的奇山异水都一一游遍；他们所行走的路途又必定选择奇径险道，不论山回路转，层嶂千重，不能到达不肯罢休。

为了爬山，谢灵运还挥了他的聪明才智，继十年前在永嘉太守任上明了曲柄笠之后，他又明了一种便于爬山的木屐：在它的前后安装上齿儿，上山时取下它的前齿，下山时则取下它的后齿。这种被时人称作谢公屐的木屐，让人在上山下山时倍感轻松便捷。

游罢始宁（今浙江上虞），谢灵运又率领他的门生故旧十多人从始宁南山出直趋临海（辖今浙江临海、天台、丽水等县），使他的家中童仆数百人随后，遇到山路难行他就让数百童仆伐木开道。

他在山中如此兴师动众，不久就惊动了当地官府。临海太守王秀听属下禀报说山中有千百人砍山开道不知何为，极为惊恐，他那根**的神经让他马上想起二十多年前也是从东部起事的造反头目孙恩和卢循；他以为山贼临郡，急忙兵自卫。后来待细细打听，知道是贵人谢灵运，他才知道是虚惊一场。

待王秀见了谢灵运，谢灵运只稍作问候，并不行礼，并邀请他一道游玩——谢灵运虽是被免了官的朝廷大臣，但瘦死的骆驼比马大，他毕竟不是普通的吏民，所以也就不太把被吏民视作“府君”“邦君”的太守大人当作回事。那王秀也不太计较，天下何人不识谢康乐啊？但他既无游玩的雅兴，也无谢灵运这样的胆子，只能谢绝。

临别，谢灵运作诗赠王秀，其中写道：“邦君难地险，旅客易山行。”“邦君”指王秀，谢灵运以“旅客”自称。诗中的一“难”一“易”，尽写出他以游玩山水为乐不关俗务的得意之情。

从临海到会稽（治所在今浙江绍兴），谢灵运的山泽之游方兴未艾，但这时的会稽太守再不是他当年从永嘉回始宁时的那位太守了，那时的太守是他的本家叔父谢方明——谢惠连的父亲。如今的太守甚至也不是临海那位不和他计较的太守王秀了。现任会稽太守是一位精诚信佛的人，他的名字叫孟顗。

谢灵运也不管如今的府君是哪一位，依然遨游如故。在他看来，虽说自己只是一个白衣诗人，但毕竟曾是一位皇帝身边的三品大员，“瘦死的骆驼比马大”！即使不论这一点，单凭他陈郡谢氏百年来的丰功伟绩、名士风流，单凭他驰名天下的“谢康乐”几个字，他是无论如何——即使强打起精神来——也无法把孟某这样一个官阶五品的“俗吏”放在眼里的。已经知晓了孟顗虔诚信佛，这也不能改变了谢灵运对他的看法。

当年谢玄因子孙难得——儿子谢瑍生来就是个弱智，孙子谢灵运年幼时却聪明异常，谢玄当然不清楚还有隔代遗传一说，就曾感慨说：“我这样的人竟然只生了个这样的儿子，而这样的儿子竟然会生了个少见的天才！”因此就对他寄予厚望，于是送他到钱塘人杜明师处寄养，并为他取名叫“客儿”。

这杜明师是何许人也？杜明师，名昺，“明师”是他的道徒弟子为他所上的谥号。杜昺在晋宋之际甚至在整个南朝时期，都是一位家喻户晓且有相当影响的明星人物。相传他“通灵有道术”，因此晋时的一些政治、军事方面的重要人物，如贤相谢安谢太傅和车骑将军谢玄叔侄，以及大司马桓温、右军将军王羲之等人，每遇生老病死一类大事，就要问之于杜明师，甚至有关国家祸福、战争成败这样的大事，他们也卜之于杜明师。他们将杜明师奉若神明。

就连那个以讨伐王恭为名起兵，被司马道子诱杀的天师道领孙泰，也是杜昺的弟子——孙泰被杀，他的侄子孙恩逃到海上，后来率军进攻浙东，继而和卢循等人把晋氏天下搅成一团乱麻。

谢灵运幼小的心灵正是受到了道术高明的仙风道雾的熏染，这也对他日后的性情多少产生了影响。杜明师去世后，谢灵运“十五方还都”。回京都以后，谢灵运开始信奉佛法。当时南方佛界的领袖人物、庐山名僧慧远不仅精通佛理，而且精通玄学，并擅长儒学，尤其擅长《三礼》《毛诗》，天下僧徒对他“闻风而悦，四海同归”——这八字正是谢灵运后来在《庐山慧远法师诔》中对他的评价。谢灵运对他仰慕极了，希望投身到他的门下，皈依佛法。

十八岁那年，谢灵运就去庐山参加慧远等人立誓往生净土的盛会。后来贬谪永嘉期间，他除了写有诸如“池塘生春草，园柳变鸣禽”“野旷沙岸净，天高秋月明”等吟咏山水的佳句外，还写了诸如“清霄飏浮烟，空林响法鼓”“禅室栖空观，讲宇析妙理”等咏唱佛理的诗句。他写过一篇《辨宗论》，曾引起沙门和社会的广泛注意：他提倡“顿悟”，在佛法面前人人平等，人们可以顿悟佛法立地成佛。只是他始终热中功名，没能看破红尘。

正是因为有了这样的经历和“成就”，所以当孟顗和谢灵运谈起佛法时，谢灵运才毫不客气地对这位年长于他的府君说：

“得道应须灵性。丈人升天当在灵运前，成佛必在灵运后！”丈人，是时人对长者的尊称。

我死在你前，成佛在你后？听了这表示轻蔑的话，孟顗暗地里咬牙切齿。

谢灵运父祖都安葬在始宁，家中的产业大都也在始宁。等到把祖上的余资产业从始宁移到会稽以后，谢灵运在山泽之游的同时，也一直在不断地拓展产业。他看到会稽城东有一个回踵湖可以利用，就上表皇上想得到它放了水改作农田，皇上答表令会稽郡履行此事。

回踵湖离城近，水产丰富，周围百姓赖此以为生计，孟顗以此为由坚决不给他回踵湖。谢灵运无法，只得求其次，想得到始宁县的岯崲湖，孟顗再次拒绝了他的要求。谢灵运认为孟顗并非为了百姓着想，只不过是因为他自己信佛不愿杀生，害怕放了湖水多杀生坏了他的功德，于是就不分场合口出恶言诋毁孟顗，从此两人结怨深固。

元嘉八年夏天，谢灵运和隐士王弘之等人又在会稽千秋亭纵情豪饮，豪饮之余众人又**大叫。辖境内竟有如此不堪之事，孟顗得知后深感难堪，就派随从责问诸人何故聚众**大叫。谢灵运见了来人，不但不加收敛，反而倚酒三分醉，破口大骂：

“我等饮酒得意，何关傻鸟屁事！”

孟顗闻言大怒：

“谢客儿如此目中无人，莫怪老夫手下无情！”

在忍无可忍的情况下，孟顗以谢灵运在郡中横恣轻法惊扰百姓为由，兵自防，同时上奏朝廷称谢灵运在郡违法有谋反的企图。

谋反？这可是要杀头的啊！自古以来，任何一个王朝，它或许可以宽容诸如贪污腐化这一类恶行，但一提到谋反，就没有不作出果决的反应的。从某种意义上说，会稽是个**的地方：当年孙恩在海上起事，登岸后先攻破会稽，杀死会稽内史王凝之，这王凝之还是祖父谢玄的姐夫呢！后来孙恩占领东部八郡，人数展到了数十万。如今孟顗以此为言，分明是想把自己和孙恩放在一起让人联想，其险恶用心可想而知。

谢灵运既知自己惹了大祸，为了避免让孟顗置己于死地，他匆匆告别了王弘之等人，甚至等不及天亮，就带着仆从星夜上路，直奔都城建康而去。

到了建康，他叩阙上表：

“臣自抱疾东归，至今三载，居处山林，安分守命，以期终了余年。忽于上月二十八日得会稽太守臣顗二十七日疏云：‘近日异端之徒言论纷纷，百姓蠢蠢欲动，今郡县兵以自防。’臣见此惊骇，不知所由，便星夜奔驰，归骨陛下；行至山阴县，臣见防卫严备，彭排马枪，断截街巷，巡侦相继，戈甲满道。不知微臣罪为何事。臣往昔忝居近侍，蒙受圣恩，若臣罪迹昭彰，文字有证，不只甘受刑戮，陈尸示众，普天之下，自无容身之地。今顗虚拟罪证，何酷如之！观自古诬谤，圣贤不免，然致谤之来，皆有缘由：或轻死重气，结党聚群，或勇冠乡里，剑客驰逐。未闻诗礼之学，欲为叛逆之罪；山居之士，而遭犯上之祸。今影迹无踪，假谤空设，古来之酷，闻所未闻。臣非自惜余生，实悲其痛。诚复自省无过，而冤屈莫申；因而拖曳病躯，束骸归诚。仰凭陛下天鉴俯照，则臣死之日，犹生之年。臣连日忧惧，疾病作，神思恍惚，不知所陈。”

刘义隆见了他的上表，立即召见了他。这次见了谢灵运，让刘义隆想起了登基后第一次见他的情形。现在是不见了他的曲柄笠，也不见了他的倨傲。见过了孟顗的奏章，又见了谢灵运的诚惶诚恐，刘义隆知道孟顗的会稽郡是再容不了诗人谢康乐的了；至于说谋反，那更是不可能的，谢灵运不过是一介诗人而已，诗人怎能造反？这就像他说的那样，“未闻诗礼之学，欲为叛逆之罪”。他又想起谢离京前的劝伐河北，现在北伐已经结束，此中种种，真是难以一言蔽之。

刘义隆是爱才的，这时他觉得谢的东归，尤其是后来又遭弹劾，多少让他受了委屈；而如今又受了孟顗一气，多多少少也是自己的处置不当造成的。

为了弥补这些缺憾，刘义隆叫来了殷景仁；当得知临川内史任缺之后，他当即任命谢灵运为临川内史。

临川郡（治所在今江西抚州市西）是临川王刘义庆的封国，依晋宋的国制，王国不设太守，只设内史，由内史掌管郡内一切事务。谢灵运任临川内史，行使的是一个太守的职权。

对这样一个张狂的贵族诗人，皇帝还不算亏待他。