《新唐书·杜甫传》载：“大历（766—779），甫出矍塘，下江陵，泊沅湘，以登衡山。”正月，杜甫带着全家离开四川，出三峡。三月到达湖北江陵，冬末到达湖南岳州（今岳阳市），四年（769）正月到达潭州（今长沙市），春末离潭州赴衡州（今衡阳市）。过衡山时，写有《望岳》这一著名诗篇。在这首诗中，他描绘了祝融、紫盖、天柱、芙蓉、石廪五峰的形势：“祝融五峰尊，峰峰次低昂；紫盖独不朝，争长嶪相望。”接着他又写道：“牵迫限修途，未暇杖崇冈。”

由于长途旅行所拘限，他们没有时间拄杖登山游览。杜甫这次入湖南，意在奔老友——衡州刺史韦之晋。到衡州后，始知韦已改任潭州刺史，于是又折回潭州。五年（770）四月，湖南兵马使臧杀潭州刺史兼湖南团练使崔 （韦之晋时已逝世），潭州一片混乱。杜甫又被迫南下衡州。过衡山时，写下《题衡山县文宣王庙新学堂呈陆宰》一诗；到衡州后，又写了《朱凤行》一诗。诗曰：“君不见，潇湘之山衡山高，山巅朱凤声嗷嗷。侧身长顾求其群，翅垂口噤心甚劳。下愍百鸟在罗网，黄雀最小犹难逃。愿分竹实及蝼蚁，尽使鸱枭相怒号。”杜甫借描绘象征南岳的朱凤，表达对人民疾苦的同情和对奸邪恶人的怨恨。臧乱平，杜甫决定自衡州回棹北归潭州。暮秋，过衡山，病逝于潭（州）岳（州）之间的旅途中。