潮，同时召贾贲、张巡入城。贾贲、张巡入城后杀令狐潮的妻子，据城自守。当时吴王李祗为灵昌太守，奉诏统率河南抗叛军队，他得知贾贲、张巡进占雍丘后，即授贾贲为监察御史。不久，令狐潮引叛军攻雍丘，贾贲率军出城抵御而战死。此后，张巡领导军民继续英勇杀敌，从而赢得了军民的信任。张巡将战况上报李祗后，李祗即委命张巡率雍丘军民抗击叛军。
令狐潮在初攻雍丘失败后，又引叛将李廷望率众四万攻城，一时人心震恐。但张巡沉着冷静，布置一些军队守城，其余分成几队，亲自率领向叛军发起突然攻击。叛军猝不及防，大败而逃。次日，叛军建造与城同高的木楼百余座从四面攻城。张巡命人在城上筑起栅栏加强防守，然后捆草灌注膏油向叛军木楼投掷，使叛军无法逼近。张巡又寻机进击叛军，致使叛军木楼攻城之策失败。之后，敌攻我守，相持60天，大小数百战，令狐潮终于被击败退去。
令狐潮经过休整后又一次进行反扑，在其大兵临城后先劝诱张巡投降，但遭到张巡严词拒绝，令狐潮羞愧而去。当时张巡固守孤城，又无朝廷消息，所部将领六人劝张巡出降。张巡表面许诺，据说次日，张巡便于府衙设皇帝画像，率全军将士朝拜，然后将劝降六人责以大义斩首，这样更坚定了将士守城的决心。
由于长期守城，雍丘存粮已经不多，正在这时，张巡得知令狐期将从睢阳渠运米数百船经过雍丘城，于是派兵夜间出战。叛军猝不及防，纷纷逃命。张巡不仅缴获上千斛盐米，还追杀叛军无数。
到当年七月，令狐潮又勾结叛将崔伯玉围攻雍丘。这次令狐潮先派四名使者入城劝降，张巡杀掉四名使者，然后将其随从押送李祗。至此，张巡率千人之众，坚守孤城四月，抗击敌众几万人，每战一捷。当时，河南节度使虢王李巨屯守彭城，特命张巡为抗叛先锋。
此后，形势更加恶化，迫于形势，张巡率众沿睢阳渠向南撤退，当时他只有马三百匹，兵三千人，退至睢阳与太守许远，及城父县令姚阎合在一起。之后，他们派部将雷万春、南霁云等领兵北上抗击叛军，并在宁陵北击败杨朝宗，斩叛将20人，杀敌一万余人，投敌尸于睢阳渠中，渠水为之不流。杨朝宗幸免一死，连夜逃去。这次战后，张巡接到朝廷诏书，被封为主客郎中，兼河南节度副使。
睢阳地当睢阳渠要冲，位置非常重要。至德二载，安禄山死后，其子安庆绪派部将尹子琦率同罗、突厥、奚等部族精锐兵力与杨朝宗合，共十几万人，进攻睢阳。面对强敌，张巡、许远激励将上固守，从早至午，接战20余次，土气不衰。许远自以才能不及张巡，推张巡为主帅，而自己管筹集军粮和战争物资。张巡任主帅后，首先清除了内部叛将田秀荣，然后率军出城主动袭击叛军，将叛军打得大败而逃，并缴获了大批车马牛羊。张巡把这些战利品都分给了将土，自己分毫不要。这次大捷之后，朝廷封张巡为御史中丞，许远为待御史，姚门言为吏部郎中。
到了五月，正是麦熟时节，叛军在城外收麦以充军粮，张巡在城上看到后，集结士兵，擂鼓作出欲战的样子。叛军见状立刻停止收麦待战。这时，张巡止住擂鼓，让军士作出休息的样子，叛军见状放松了警惕。张巡抓住时机命南霁云率军大开城门突然冲出，直捣尹子琦大营，斩将拔旗。与此同时，有叛军大将率一千余骑兵直逼城下招张巡投降。张巡在城上一边与敌将答话，一边暗命勇士几十人手持钩、陌刀、强弩从城上吊下潜入无水的护城壕中，趁城外叛军依仗人多势众并不戒备时，勇士们奋勇杀出，叛军猝不及防损伤了很多人马。
到了当年七月，叛军再次围城。这时士兵每日才能分到一勺米，饥了只好吃树皮和纸。守军也只剩千余人，瘦弱的拉不开弓，而且外无救兵。叛军了解情况后决定强攻睢阳，他们先用云梯爬城。张巡命士兵用钩杆将云梯顶翻，随即又从城上投火焚烧云梯，这样，叛军用云梯攻城就失败了。之后，叛军作了一番整顿，又用钩车、木马攻城，但当他们靠近城墙时，又被从城上投下的石块砸得七零八落。叛军见状停止攻城，又围城挖壕，壕外再加筑栅栏，以作长期围困。这时城中守军很多因饥饿而死去，留存又大多伤残疲惫不堪。这时，张巡杀其爱妾，煮熟犒赏将士。许远也把其奴僮给士兵吃。城中的麻雀老鼠及铠甲弓箭上的皮子都找来吃了，但就在这样的情况下，张巡还对接近城墙的叛军将领晓以忠义，劝其反正。而被张巡策反的李怀忠等许多人，都能死心扬地的帮助张巡守城。
为了加强睢阳守卫，张巡派部将南霁云从城东门杀出搬请救兵。但拥兵临淮的贺兰进明，驻守彭城的许叔冀、尚衡等都观望不肯发兵。只有驻守真源的李贲援助战马百匹，宁陵守将援助兵三千，但这些士兵由南霁云率领杀开敌围进到睢阳城后，只剩下一千多人了。
叛军得知张巡请援无望，又加紧攻城，至此城已很难坚守了。守城将士商议突围而去，但张巡，许远认为睢阳是江淮屏障，如果失守，叛军会大举南下，蹂躏江淮。再说守城士兵已饥惫不堪，弃城而逃，必无生还，所以最后仍决定