《韦苏州集》里，有《 逢杨开府》 诗说：“少事武皇帝，无赖恃恩私。身作里中横，家藏亡命儿。朝持樗蒲局，暮窃东邻姬。司隶不敢捕，立在白玉墀。骊山风雪夜，长杨羽猎时。一字都不识，饮酒肆顽痴。武皇升仙去，憔悴被人欺。读书事已晚，把笔学题诗。两府始收迹，南宫谬见推。非才果不容，出守抚惸嫠。忽逢杨开府，论旧涕俱垂。”玩味此诗，乃是韦应物自写少年时历史，竟然放荡到如此地步。李肇《 国史补》 说：“韦应物性情高洁，生活检朴，没有欲望，住的地方，烧香扫地然后才坐。他的诗很有建安风骨，寸青致过人。”这乃是他改正以后的事情。《唐书》 丢掉这些事迹，不给他立传。高适少年时也不得意，到了五十岁才学作诗，但一作就很好。这都是天资过人，不能用常理论断的。韦应物为三卫郎，是在玄宗天宝年间，做事如此不法，然而官吏不敢捕捉，那么时政的好坏，也就可想而知了。