未两旬而毕。同知留守萧保先怪而问之，人望曰：“民产若括之无遗，他日必长厚敛之弊，大率十得六。足矣。”保先谢曰：“公虑远，吾不及也。”
先是，枢密使乙辛窃弄威柄，卒害太子。及天柞嗣位，将报父仇，选人望及萧报恩究其事，人望平心以处，所活甚众。改上京副留守，会剧贼赵钟哥犯阙，劫宫女、御物，人望率众捕之，右臂中矢，炷以艾，力疾驰逐，贼弃所掠而道。人望令关津讥察行旅，悉获其盗。
寻擢枢密都承旨，宰相耶律伊恶人望与己异，迁南京诸官提辖制置，岁中，为保静军节度使。有二支凶暴，民畏如虎，人望假以辞色，阴令发其事，黥配之。是岁诸处饥乏，惟人望所治粒食不阙，路不鸣桴，遥授彰义军节度使。迁中京度支使，始至，府廪皆空；视事半岁，积粟十五万科，钱二十万纟强，徙左散骑常侍，累迁枢密直学士。未几，拜参知政事，判南京三司使事，时钱粟出纳之弊，惟燕为甚，人望以缣帛为通历，凡库物出入，皆使别籍，名曰“临库”。奸人黠支莫得轩轻，乃以年老扬言道路。朝论不察，改南院宣徽使，以示优老。逾年，天柞手书“宣马宣徽”四字诏之，既至，谕曰：“以卿为老，误听也。”遂拜南院枢密使。人不敢干以私，用人必公议所当与者，如曹勇义、虞仲文尝为奸人所挤，人望推荐，皆为名臣。当时，民所甚患者，驿递、马牛、旗鼓、乡正、厅隶、仓司之役，至破产不能给。人望使民出钱，官自募役，时以为便。
久之请老，以守司徒、兼侍中致仕。卒，谥曰文献。
人望有操守，喜怒不形，未尝附丽求进。初除执政，家人贺之，人望愀然曰：“得勿喜，失勿忧，抗之甚高，挤之必酷。”其畏慎如此。