吞并燕京城下将近一年，这种存在感，已经在燕云人心里成为现实。他们在最初的怀疑、惊慌和抗拒之后，开始逐渐选择接受。
一座座城池被招降，还有一支支军队选择投靠，大多数是没什么战斗力的签军，是被强征来守城的，军州还有机会驻扎少量女真人，县城往往只有文官带着签军，没有望风而逃，已经证明他们比赵氏豢养的文人更有骨气，但也仅此而已，真有骨气的，早就在抵抗女真人的时候死难了。
大多数签军都被遣散，他们的家乡还需要他们恢复生气，但一支特殊的部队留了下来。
这只军队不是燕云人组成的，却长期在燕云存在，曾经作为燕云的主力武装，又变成了燕云人的敌人，最后变成了盗匪。
这只军队的名字叫做怨军，是郭药师在亡国后，招募流亡到燕京的辽东人组建的。
其中有汉人、奚人和渤海人，都是辽东土著，生活了不知道多少代。因为女真人灭辽，他们背井离乡，逃亡到了燕京。
这种沦亡之人的命运是极其悲剧的，不止有辽东流亡进关内的，也有燕云流亡到宋地的。当年杜充在宋辽边境的沧州做知州的时候，就有大量亡国辽人流亡到沧州城。后来局势紧张，杜充仅仅因为担心这些辽人中存在间谍，就让军队将这些人全部屠杀了。燕云人的悲惨命运，当然要怪杜充的阴狠，可也跟他们亡国分不开关系。亡国奴，注定悲惨！
郭药师能组建怨军，靠的是北宋的支持。当年作为被划入北宋的山南六州，郭药师成为入宋辽臣，可是州县的人口都被女真人掳走了，他要组建军队，其实也只能从外面征召，恰好女真人一边到处掳人，他们境内还有大量逃人。郭药师在宋朝丰厚财力的支持下，将这些辽东流民迅速组织起来，成为他手里的资本，不管是跟宋朝还是跟金国，都是讨价还价的本钱。
一开始郭药师也许没想着要叛逃，所以完全是冲着女真人去的，这些辽人或许一开始逃亡的时候是因为胆怯，可一路上悲惨的亡国奴命运，激励出了他们复仇的勇气和对女真人的怨恨。
所以这只军队叫做怨军，让他们记住对女真人的怨恨，这只怨军的数量，按照郭药师的说法，高达三十万人，不过更大的可能是郭药师用来向宋国讨要军费的虚报。郭药师被迫降金后，怨军大部水分就被挤干，最后有的被女真人征发、迁移，当被耶律余睹谋反牵连的时候，郭药师身边就只剩下千把人的怨军亲兵。他死后，这只军队就哗变了，落草为寇，成为燕云地区的一支悍匪。
他们也主动投靠了李慢侯，而且人数并不只有一千人，而是高达一万。因为耶律余睹案发后的五六年中，他们纵横燕云，吸收了大量辽东流民，许多以前就是怨军的旧部，被解散为民后，在陌生的地方生活的并不痛快，不但被本地人排挤，还要被女真人征发，这些怨军一招呼，勾起他们心中对女真人的怨恨和亡国之痛，立刻就拿起武器，跟着反了。
一万怨军，拖家带口，男女老幼加起来，高达三万余人。老人很少，只要几百个，而且大多还有劳动能力，不然早死了。因此这些人不算负担，李慢侯不接纳他们，他们就是一直可以自行发展的大军，所以李慢侯也不敢不接纳他们。
怨军溯源，当然跟女真人有关，但最直接的关系，是跟渤海人高永昌有关。阿骨打起兵之后，主要在混同江流域，哪里是契丹人的薄弱区，控制力很弱。契丹人征发了大量辽东力量去镇压，导致辽东空虚，结果这里的渤海人高永昌起兵，建立大渤海国。内乱，导致了大量的流民，这些流民大量涌入燕云。高永昌的起兵，导致契丹人镇压女真起义的力量更加薄弱，因为此时需要从更远的地方抽调资源。
结果契丹人选择先镇压高永昌，高永昌却向女真人求援，女真人半路杀出，击败了契丹人，之后又击败了高永昌，控制了东北地区。
辽国平定高永昌叛乱失败后，将怨气冲向半路杀出的女真人身上，天祚皇帝让燕王耶律淳招募从辽东跑回的主要为汉人的难民，组建怨军，希望利用他们的怨气，收复辽东故土。
这些辽东汉人，一部分是契丹人占领燕云后迁过去的，一部分是时代居住在辽东的，由于少数民族的文化弱势，导致东北民族换了许多，唯有汉人是从春秋战国一直传续下来的，所以这些辽东汉人，早就将辽东当做家乡。将高永昌作乱、女真人反叛，视为最大的仇怨。