大历三年，杜甫思乡心切，乘舟出峡，先到江陵，又转公安，年底又漂泊到湖南岳阳，这一段时间杜甫一直住在船上。

由于生活困难，不但不能北归，还被迫更往南行。

大历四年正月，由岳阳到潭州，又由潭州到衡州，复折回潭州。

唐代宗大历五年，臧?在潭州作乱，杜甫又逃往衡州，原打算再往郴州投靠舅父崔?，但行到耒阳，遇江水暴涨，只得停泊方田驿，五天没吃到东西，幸亏县令聂某派人送来酒肉而得救。

后来杜甫由耒阳到郴州，需逆流而上二百多里，这时洪水又未退，杜甫原一心要北归，这时便改变计划，顺流而下，折回潭州。

大历五年冬，杜甫在由潭州往岳阳的一条小船上去世。

时年五十九岁。

杜甫和严武是世交，往来时间很长，他们应该从小就认识，杜甫比严武长了十四岁,论年龄应该算兄长，但论官职，杜甫却一直是下级。

严武曾在肃宗朝中任给事中，其时杜甫与他同朝为官任左拾遗。

杜甫充分利用了与严武“同朝为官”的机会，发展了他们原有的交情。

他一方面写了《奉赠严八阁老》一诗颂严：“扈圣登黄阁，明公独妙年。

蛟龙得云雨，雕鹗在秋天。

客礼容疏放，官曹可接联。

新诗句句好，应任老夫传。

”仇兆螯注曰：“上四颂严，称其遇主乘时，下四叙情，喜其同官相契。

”另一方面，他们同出房?门下，都受房?推荐，政治上属于同一阵营，所以想法也较为投机。