马知节自幼孤苦。宋太宗时，以荫补为供奉官，被赐名知节。他十八岁时，任彭州监兵，因严厉监视众兵，大家像敬畏老将那样敬畏他。后又监潭州兵，当时何承矩为守臣，很是以文雅整饬吏治。马知节仰慕何承矩的处事，因而开始折节读书。 

　　宋太宗雍熙年间，马知节出任博州监军。雍熙三年（986年），辽朝大举入侵，于君子馆之战中击败宋军。在此之前知节修治城池修补战具，储积粮草，官吏百姓认为他多此一举。不久，辽军果然到来，因为宋朝有准备，避开而去。 

　　其后移知定远军。当时，朝廷议论调发河南十三州的百姓运输粮饷，河北转运使樊知古刚好到定远军商议事情，马知节说：“军少粟多，除去腐烂的粟米，还可得到十分之六七。”樊知古同意，果然获得粟米五十万斛，分发给各驻屯大军，于是省却了河南的工役。当时所部百姓入保躲避敌人，士兵有盗窃妇女首饰的，护军只是将其鞭笞遣走。马知节说：“百姓躲避外患而来，反而遭受内寇之祸，这样可以宽恕，那么何以整肃下面呢？”马上下令将其处死。改知深、庆二州，升任西京作坊使。 

　　不久，马知节再知梓州。淳化四年（993年），李顺叛乱，诏令知节与王继恩共同讨伐。王继恩依仗权势按自己的意图放任行事，厌恶马知节不依附自己，派他守彭州，交给他三百名瘦弱之兵，彭州旧有的士兵，全都召回成都。马知节屡次请求增加兵员，没有得到同意。李顺以十多万人攻打彭州城，马知节力战，从清晨到黄昏，士兵大多死亡，他感慨地叹息说：“死于贼人手里，不是勇士。”就横拿着长矛突围而出，将近天亮，援兵来到，又呐喊入城，贼人于是溃退离去。太宗听说后感叹地说：“贼众我寡，马知节不容易抵挡。”授任益州钤辖，加封益、汉九州都巡检使，升内园使。恰逢韩景祐部将刘旰胁迫官兵作乱，接连攻占州县，人数超过二千。知节率领三百军队，追到蜀州，与之战斗，刘旰逃往邛州。马知节说：“贼人攻破邛州，必定乘胜渡江逼迫我军，等到休息后再战，官军虽然是贼人的两倍，追击它也劳累，不如趁其困敝加紧攻击，这样必然击破它。”于是出发。官军在方井镇停留，与刘旰遭遇，杀得贼人无人幸存。

　　咸平（998年—1003年）初年，掌领登州刺史，又知秦州。秦州曾经以羌人酋长支属二十多人为人质，超过二十四年。马知节说：“羌人也是人，难道不想回家？”将其全部遣回。羌人感激，一直到最后，不再进犯边塞。当时秦州有银矿，年代久远矿物竭尽，但税额没有废除，负责的官吏破产，不足以偿还这笔税额。马知节请求朝廷免除税额，三上奏章，才得到允许。后升任西上阁门使、知益州兼本路转运使。自从乾德年间以后，每年漕运蜀州物资，动辄超过万计。当时征籍富民来负责船运，因漕船沉没而破产的人很多。马知节请求代督漕运以便察看实地而考核漕事，从此蜀人赖以免去祸患。

　　其后，马知节移知延州兼鄜延驻泊部署。边敌将到，正好是元宵节，就命令张灯启关，接连几晚宴饮欢乐，敌人不能探知底细，就退去。恰逢镇州程德玄政事弛废，调知节代理他的职务。朝廷诏令调发澶、魏六州粮食输往定武，当时军队交战于边境上，马知节说：“粮食到来，这是资助盗窃。”只令在船车所到地方收取，敌人无所得而逃走。

　　宋真宗在澶渊，当时王超拥有几十万军队屯驻真定，逗留不前进。马知节移文书谴责，王超才出兵，还是以中渡无桥为借口。马知节预先准备渡河的材料，一晚而完成。

　　景德年中，移知定州，不久，被授为东上阁门使、枢密都承旨，升任签书枢密院事。

　　“澶渊之盟”签订后，天下平安无事，大臣言符瑞吉祥之事，但马知节每每不以为然，他曾经说：“天下虽然安定，但不可以忘战去兵。”自己陈述年纪未衰，五七年间还可以被使唤，如果边地有警，愿意参预行动，只要得到副都部署名及几匹良马、一队轻便部队就足够了。真宗表示肯定，因而命令制造钢铁锁子甲赐给他。后进官宣徽北院使，加兼枢密副使。当时王钦若任枢密使，马知节因看不起他的为人，遇事敢于直言，从未曾稍有屈服。每次在朝廷议事，得知王钦若不公正，就当面辱骂他。当时王钦若受真宗的宠爱正盛，马知节更加不肯屈节讨好。

　　大中祥符七年（1014年），马知节任颍州防御使、知潞州。

　　天禧（1017年—1021年）初年，移知天雄军，召授宣徽南院使、知枢密院事。因病请求罢免，被任命为彰德军留后、知贝州兼部署。将要赴任，真宗怜悯他瘦弱患病，只命他返回安居。当时上党、大名的百姓已争相来迎接请见。同年八月壬寅日（9月19日），马知节去世，终年六十五岁。临终时，他让家人推辞诏葬（下诏安葬，古代给有勋功大臣的殊荣）。真宗闻讯后，痛切哀悼，追赠侍中，谥号“正惠”。加倍赐予助丧的财物，授其子孙四人为官。