冉觐祖生性稳重，少有成人之风。十七岁时娶郏县教谕梁天民之女为妻，同年十一月在鄢陵中秀才，不久补考博士子弟员（最高学府国子监学习的生员），次年到卫辉（河南汲县）百泉参加乡试（考举人）。见书贩陈列大量名贵书籍，竟竭尽所有购买了四书五经大全及著名诗文集等，因而不再专心应考，回家埋头研读，立志于著作。19岁补廪（秀才年考成绩优异者，官府给予一定数量廪米补助）。当时有人出售《二十一史》，要价很高，他个人资力不够，就借银买得此书，潜心研究，汶上（山东）袁某擅长音韵，来县城设教，二人倾谈五日，冉尽得其中奥妙。

　　冉觐祖27岁时得中乡试第一名举人，此后长期专心读书、著述，写成《四书五经详说》、《尚书详说》、《四书玩注》等。康熙二十八年（1690年）应登封进士景东场邀请到嵩阳书院讲学。次年兼应本省抚军阎某之约，主编《中州通志》。

　　康熙三十年中进士，留任翰林院庶吉士，三年后升检讨。在翰林院任职期间，曾与同僚被康熙皇帝召见、赐宴，即席赋诗，得到皇帝“气度老诚”的奖语。

　　康熙三十七年辞官还乡，再赴嵩阳书院讲学，次年东归，受户部侍郎张勉斋邀请到仪封（今兰考县）书院讲学，同时登封知县坚决邀请他重回嵩阳书院讲学，冉不得已，就东西兼顾，轮流讲之。

　　康熙四十年再次应召进京任原职，因年事已高，掌院（翰林院主官）准他轮入侍值（轮流到翰林院值班），外无所事，得以安心著述。康熙四十三年，其68岁时，辞官还乡，建纶翰堂，专心著述，兼教授子弟。康熙五十七年病故，终年81岁。临终之时，谆谆告诫诸子，刊行他的遗稿，建藏书楼，以备后人阅读，却无一语涉及私事。