“可堪”者，岂堪也，这重重凄厉的气围中，秦观又怎能忍受得了呢？过片“驿寄梅花，鱼传尺素，砌成此恨无重数。”连用两则友人投寄书信的典故，极写思乡怀旧之情。“驿寄梅花”，见于《荆州记》记载：“鱼传尺素”，是用古乐府《饮马长城窟》诗意，意指书信往来。少游是贬谪之人，北归无望，亲友们的来书和馈赠，实际上并不能给他带来丝毫慰藉，而只能徒然增加他别恨离愁而已。
因此，书信和馈赠越多，离恨也积得越多，无数“梅花”和“尺素”，仿佛堆砌成了“无重数”的恨。秦观这种感受是很深切的，而这种感受又很难表现，故秦观手法创新，只说“砌成此恨无重数”。有这一“砌”字，那一封封书信，一束束梅花，便仿佛成了一块块砖石，层层垒起，以至于达到“无重数”的极限。这种写法，不仅把抽象的微妙的感情形象化，而且也可使人想象秦观心中的积恨也如砖石垒成，沉重坚实而又无法消解。
如此深重难排的苦恨中，迸发出最后二句：“郴江幸自绕郴山，为谁流下潇湘去？”从表面上看，这两句似乎是即景抒情，写秦观纵目郴江，抒发远望怀乡之思。郴江出山后，向北流入耒水，又北经耒阳县，至衡阳而东流入潇水湘江。但实际上，一经秦观点化，那山山水水都仿佛活了，具有了人的思想感情。这两句由于分别加入了“幸自”和“为谁”两个字，无情的山水似乎也能听懂人语，秦观痴痴问询郴江：你本来生活自己的故土，和郴山欢聚一起，究竟为了谁而竟自离乡背井，“流下潇湘去”呢？
秦观（1049-1100）字太虚，又字少游，别号邗沟居士，世称淮海先生，与黄庭坚、张耒、晁补之合称苏门四学士。汉族，北宋高邮（今江苏）人，官至太学博士，国史馆编修。秦观一 生坎坷，所写诗词，高古沉重，寄托身世，感人至深。秦观生前行踪所至之处，多有遗迹。如浙江杭州的秦少游祠，丽水的秦少游塑像、淮海先生祠、莺花亭；青田的秦学士祠；湖南郴州三绝碑；广西横县的海棠亭、醉乡亭、淮海堂、淮海书院等。秦观墓在无锡惠山之北粲山上，墓碑上书“秦龙图墓”几个大字。有秦家村、秦家大院以及省级文物保护单位古文游台。
绍圣四年（公元1097年）秦观因新旧党争先贬杭州通判，再贬监州酒税，后又被罗织罪名贬谪郴州，削去所有官爵和俸禄；又贬横州此词就是离郴前所写。