张作霖在关外整军备战，也没有忘了广结外援。此时的外援无外乎段祺瑞的皖系和孙中山的国民党。粤皖奉结成同盟是当时现实所迫，抱团取暖而已。
皖系虽然日落西山，但段祺瑞还想最后一搏，开始与孙中山国民党改善关系。孙中山国民党欲回师驱逐盘踞广东的桂系军阀，以解除北伐的后顾之忧，有了“联皖排直”的策略。段祺瑞派出徐树铮等要员拜见孙中山，赞同孙的主张，几番沟通，至1919年秋，双方间的合作已有头绪。
1921年12月22日，段祺瑞的心腹徐树铮从上海秘密到达广州，在蒋介石、戴季陶陪同下，去桂林面见孙中山，达成共识。
徐树铮与孙中山见面颇有一些惺惺惜惺惺，虽然政见不同，阵营不同，但二人在国事上有共鸣，面对外敌入侵，都有抗击外敌的豪情，会见十分融洽。
徐树铮对中山先生谈论的国际形势和国家地理非常赏识。孙中山对小徐也非常器重，一度想将他留在国民党内。徐树铮毕生之所求就是“武力统一”，在救国图强一面有极大的契合。
孙中山病逝后，小徐正在欧洲考察，获悉后自自撰挽联一副，以电报形式发至北京：
百年之政，孰若民先？曷居乎一言而兴，一言而丧；十稔以还，使无公在，正不知几人称帝、几人称王。
小徐的此联共推第一，上句典出《论语》，下句典出曹操的《让县自明本志令》，区区数十字，将孙中山的一生的功绩尽数概括。

粤、奉之间的联络与沟通也在加紧，孙中山致函张作霖，解释了粤方在第一次直奉战争中未能与奉系遥相呼应，此后的军事问题与他们沟通，联合讨直的可能。孙中山先后派出汪精卫、程潜、孙科等赴奉，与奉系当面商议。张作霖也先后派出姜登选、韩麟春、杨宇霆等人南下上海、广州等地，与孙中山、廖仲恺等人面商合作。
皖、奉关系也改善了，张作霖联系段祺瑞的同时，又派人与皖系的浙江督军卢永祥联系，订立军事上的攻守同盟，承诺打倒曹、吴后，拥戴段祺瑞上台。
奉系向皖系提供了大量款项，用于收买、分化直系将领，特别是直系大将冯玉祥。

1922年下半年，粤、皖双方在福建采取了联合军事行动。怎么回事呢？福建是各派都盯上的一块肥肉，谁都想咬一口。福建的督军是李厚基，原属皖系将领，第一次直奉战争后，见直系势力如日中天，便改换门庭，投靠了曹、吴。这对皖系控制的浙江无疑是一个极大的威胁。
段祺瑞、徐树铮和浙江督军卢永祥为避免三面受敌，决心驱逐李厚基，夺取福建的地盘。此时，孙中山因陈炯明发动叛乱，失去了广州大本营，也想在福建为粤军找一个落脚地。皖系和孙中山一拍即合，决定联合行动。
1922年8月，徐树铮等抵达上海，与孙中山会晤，就粤、皖联军夺取福建达成一致。徐树铮亲自出马，来到福建延平（今南平市），说服闽北镇守使兼二十四旅旅长王永泉起兵驱逐李厚基。驻粤赣边境的许崇智也通电讨李，向福建进兵。
徐树铮在延平宣布设立“建国军政制置府”，自任总制置，奉段祺瑞、孙中山为领导，组建“建国军”。任命王永泉为第一军军长，许崇智为第二军军长等。
徐树铮命令“建国军”向福州发起攻击，李厚基见识不妙，逃出福州城。徐树铮任命王永泉为福建总司令，国民党人林森为福建省长。

粤、皖双方在福建的联合行动，直系大为不满，曹锟、吴佩孚催促北京政府下达讨伐徐树铮，以“援闽”的名义，调集孙传芳、周荫人、常德盛等直系军从江西进攻福建，陈炯明也派兵配合直系军的进攻，“建国军”受到南北夹击。
孙中山为防孙传芳与陈炯明叛军构成犄角之势，将许崇智、李福林等部改称东路讨贼军，以许崇智为总司令，回粤讨伐陈炯明。“建国军”名存实亡。“建国军政制置府”也难以维持，徐树铮怀着沮丧的心情，乘船离开福州返回上海。
孙传芳、周荫人等直军乘虚而入，占领了梦寐以求的福建地盘。