1932年秋，杨靖宇创建中国工农红军第32军南满游击队，任政委，并在罄石县附近建立了游击根据地[5]。1933年1月26日，中共中央发出《给满洲各级党部及全体党员的信》（后来简称“一·二六指示信”）。根据“一·二六”指示，杨靖宇以南满游击队和海龙游击队为基础，于1933年9月组成东北人民革命军第一独立师，任师长兼政委[5]。1934年4月，他联合17支抗日武装，成立抗日联合军总指挥部，任总指挥[5]。同年，他担任第一军军长兼政委[5]。
1936年，在东北由中共拉拢的多支抗日部队根据中共中央《八一宣言》统一建制，陆续成立抗日联军。同年2月，杨靖宇任东北抗日联军第一军军长兼政委。同年，东北抗联第一军和第二军整编成为东北抗联第一路军[4]。6月[来源请求]，他任东北抗日联军第一路军总司令兼政委[4][5]。杨靖宇通过一个个胜仗逐渐在当地扬名，在当时有“南有杨靖宇，北有赵尚志”的说法[16][17]。
随着东北抗日力量壮大及抗日斗争持续，日军对东北战略后方更有所顾及，逐渐采用坚壁清野战略，强制聚拢边区农民，推行严格的良民证管制，伪军高强度追袭，自备粮控管，提前收割粮食等，一方面将全部的民众集中管制，又采用良民证防止抗日武装与群众接触，对群众口粮收缴只能备几日粮食以及提前收割粮食防止支援抗日武装，伪军高强度追袭以消耗抗日力量精力。
曾有人向杨靖宇主张率领部队向苏联转移（抗联称其为“西征”，其实就是朝苏联方向败退），等形势好转后再回来。杨靖宇则认为不能撤，因为举起抗日大旗不容易，再回来再想举起大旗就更难了。[4]