再加上当时朝廷所推行的“卫所制度”和“屯田制度”，大量中原内地南征部队留驻，高土司统治的范围被逐渐排挤，缩小到了少数民族聚居山区，半山区，河谷地带和部分坝区。
本来“改土归流“的目的是“驾驭束缚，藉此招徕，使其接受正朔，不致叛乱，逐步做到不战而降，不削而弱。
“然而当时吏治不清，流官中饱私囊，加之土司的剥削极为残酷，使得当时的少数民族边民生活极为艰难，故在土司所统治的少数民族地区暴乱不断。
到了清乾隆年间，川，黔一带贫苦农民因受官府地主压迫，失去产业，来到此地帮工，或佃耕，或行商，或开办作坊。
有的积蓄银两，向土司购买土地，居住下来。
到了嘉庆年间(1796—120年)，高土司出卖土地越来越多，因而使一部分傈僳族，傣族农民无田可耕。
这最终导致了道光元年的唐贵起义，这次起义规模很大，世居于当地的傈僳族，傣族，彝族青壮年男子大都参加了义军。
最终，清政府动用贵州，四川和云南共3万多官军(当时云南全省一共只有3万多官军)才将此次起义镇压。
镇压此次起义仅从云南藩库的提银就达135万两，而当时云南实征的税银只有12万两。
此次起义，云南提督张凤等多名官员被撤职，土司高善被处斩。
此次起义后，清政府在永北直隶厅增设了旧衙坪经历署，派流官镇守。
并规定土司永远不准再出卖少数民族耕种田地。
光绪十九年(193年)，永北又爆发了针对高土司的丁洪贵起义，此次起义，土司高履坤被杀。
光绪二十五年(199年)，末代土司高长钦承袭土司职位。
毗时，永胜的流官已经掌握了权力，高长钦的土司职位已经成了虚职。
原来属高土司管辖的地区已经不再向他们交租，他们的税赋由朝廷流官领导下的政府直接收取。