古尔王妃入殓以后，哈布日便要按照古礼在母亲的墓穴旁搭棚居住守孝三年，但是李惟忠考虑到若是在墓穴旁守孝久了，消息难免会走漏，万一要是传到蒙古朝中，诸多情况可能会暴露，于是与李景维等人一起劝说哈布日。
哈布日也觉得李惟忠等人的话有道理，万一内情走漏出去确是非同小可，巴音就是因为此事尸首分离。于是按照李惟忠的建议，只在母亲的墓前搭棚守孝三天。这三天内，耶律齐陪着哈布日就搭棚居住在古尔王妃的墓前，不食五谷，日日祭拜悼念古尔王妃。
而李惟忠则在大夏皇陵的周围几里地范围内派遣了亲兵守卫，闲杂人等一律不得靠近。
三天墓前守孝结束以后，哈布日回到家中继续闭门守孝，而家中的一切生意、家务都是由耶律齐和三位婢女带着家丁操持打理。
平日里，哈布日除了祭拜母亲，就是和耶律齐习练武功，二人武功又是有所精进。而耶律齐也是早把古尔王妃当作自己的亲人，一门心思要陪着哈布日一起守孝三年。
可这一天李惟忠却急急忙忙带着一人来到了家中。耶律齐见这人一身蒙古军官打扮，年纪却与自己和哈布日相仿，身材健硕、黝黑，似乎在哪里见过。
李惟忠介绍说，这位少年乃是胡和鲁将军的儿子特木尔，受耶律铸委托给耶律齐带来一封家信。
耶律齐这才想起来，与特木尔确是见过几面，只不过是那时年龄还小。寒暄过后，耶律齐急忙将信打开，看着看着眉头慢慢皱了起来。
原来，自打脱列哥那皇后临朝称制以后，耶律楚材心中极为不满，于是称病在家，不问政事。
但是，毕竟自己是朝中中书令相国，不可能永远称病躲起来；而且耶律楚材也是担心朝中没有了自己的牵制，脱列哥那皇后和贵由、奥都剌合蛮等人更是肆意妄为。于是，耶律楚材重又回到朝中参政议政、处理军政事务。
可事与愿违，脱列哥那皇后虽然表面上仍对耶律楚材尊重有加，但处处架空耶律楚材，把耶律楚材的意见当耳边风；奥都剌合蛮也是上蹿下跳，联合其他大臣，时时对耶律楚材阳奉阴违。
耶律楚材天天受窝囊气，可是又毫无办法，时间久了渐渐抑郁成疾，真的就病倒了，而且越来越严重，久治未愈，不见丝毫好转，几乎已不能下床行走。自感时日无多，耶律楚材嘱咐耶律铸将耶律齐招来身边，说有后事交代。
耶律铸不敢怠慢，急忙写了亲笔信。之前收到过李惟忠的传报知道古尔王妃已经离世，耶律铸担心哈布日身边没有靠得住的人陪伴，于是招来特木尔，如此这般嘱咐了一番。
特木尔是胡和鲁的长子，胡和鲁原本要按照成吉思汗的遗旨派自己的长子随同耶律铸一同前去保护哈布日，但是耶律楚材说特木尔年纪尚轻，武功和见识尚未成熟，先跟随胡和鲁锤炼几年再说。于是，特木尔暂时就留在了父亲身边，
如今，耶律楚材病危，耶律齐不得不离开，耶律铸与胡和鲁商议以后，就命特木尔送信过后就留在哈布日身边。
耶律齐读罢来信，眼泪都快流下来了。哈布日和李惟忠等人急忙安慰耶律齐，说相国大人吉人自有天相，身体一定会好转的，这里不用担心，尽管放心回去探望父亲。
耶律齐简单收拾行装，一路快马加鞭赶到哈拉和林。见到父亲时，只见父亲躺在床上，气若游丝，原本健硕的身体却消瘦得没了人形，耶律齐忍不住痛哭失声。
耶律楚材听到耶律齐回来了，精神突然好了许多，竟然要耶律铸等人搀扶着自己坐了起来。耶律齐仆跪在床边，紧紧握着父亲的手，眼泪不停地滑落。
父子二人倾诉了一番离别之苦以后，耶律楚材吩咐耶律铸从柜匣中取出一幅缂丝图，正是那幅刻绘着成吉思汗与耶律楚材等人的议事图。
耶律楚材拉着耶律齐的手，缓声说道：“成吉思汗当年留有遗旨，所托为父之事关系非同小可。身为臣子，我等自当尽忠遵旨。然为父时日无多，汝兄耶律铸身在朝中，当今朝中纷繁复杂，汝兄须全力应对，故成吉思汗遗旨所托只能交付我齐儿，望我儿谨遵父命不负成吉思汗所托。”
耶律齐哽咽着说不出话来，耶律楚材歇息了片刻，细细向耶律齐嘱咐了一番。
嘱咐完毕，耶律楚材又于细节之处一一提问，确定耶律齐已经全部记清楚以后，耶律楚材如释重负，这才继续躺下休息。
耶律齐拿着缂丝图，与耶律铸退出父亲的卧房，兄弟二人正想细细聊聊，忽见家丁急匆匆跑进来禀报，说是贵由殿下带着一干大臣前来探望相国大人。
紧接着，就听见屋外已响起喧杂的人声，耶律铸微一皱眉，急忙向耶律齐使了个眼色，耶律齐会意，带着缂丝图急急躲进了厢房。
耶律铸则是快步迎了出去，院中就见贵由带着蒙哥、奥都剌合蛮等大臣走了进来。
耶律铸冲贵由拱手施礼：“殿下，恕微臣未能远迎！”
贵由摆摆手，笑了笑：“不妨事，久闻相国大人身体有恙，朝中事务繁忙，未能及时探望，还望相国大人勿要怪罪！”
耶律铸领着众人轻轻走入卧房。耶律楚材已听身边伺候的家丁说是贵由来了，正挣扎着起身，贵由急忙走上前招呼着耶律楚材不要下床，耶律楚材只得半靠在床边向贵由和各位大臣拱了拱手。
家丁搬了把椅子放在床边，贵由坐下，其他大臣们则站在贵由的身后。
贵由俯下身子，轻轻拉着耶律楚材的手，见耶律楚材已瘦骨嶙峋，心中不忍，缓缓说道：“相国大人多年来为国事操劳，可谓殚精竭虑，皇后娘娘嘱我特来探望，还望相国大人好生治疗静养，以盼早日康复。”
耶律楚材长叹了一声：“多谢皇后娘娘垂恩！多谢殿下亲临！微臣行将就木，或许已是时日无多。老朽无用，辜负了二位先皇所托，未能在有生之年助我蒙古完成天下统一霸业，老朽深感惭愧！惟愿贵由殿下日后为我大蒙古国励精图治，笃行致远，老朽于九泉之下方可心安。”
贵由轻轻责怪道：“相国大人说哪里话来，相国大人正值壮年，只不过是偶遇小恙，定会逐日康复，万不可多想。”
耶律楚材仍继续说道：“微臣临去之时有一事相求。”贵由见耶律楚材神色严肃坚定，没再多言，急忙接道：“相国大人尽管讲来。”
“微臣自小于燕京长大，故土难离，且微臣夫人苏氏就安葬在那玉泉山下瓮山泊之滨，微臣惟愿离世后能回到那燕京与夫人同葬。”
贵由心中悲戚顿生，强忍住泪水说道：“相国大人放心，小侄定会安排妥当。相国大人还有何吩咐，小侄定会一一照办！”
耶律楚材略一迟疑，手指着耶律铸说道：“我儿耶律铸资质愚钝，功绩自是不足挂齿，然为人忠直勤勉，殿下若信得过微臣，还望殿下多多栽培。”
贵由重重点了点头：“小侄是看着耶律铸兄弟长大，自是了解其品行，耶律铸兄弟早已是小侄依赖信任之人，相国大人无需嘱托，小侄自是心中有数。”
耶律楚材像是欣慰地点了点头，忽然一口气没上来，剧烈咳嗽起来。贵由急忙扶着耶律楚材躺下，嘱咐相国安心静养，勿要再劳费心力，大家不再打扰，就此告辞。
耶律铸给大家送行，贵由叮嘱奥都剌合蛮唤最好的御医前来为相国大人诊治；奥都剌合蛮临出门时还四处东张西望，听到贵由的吩咐急忙连连应诺。
耶律齐伺候在父亲身边，一连数日几乎刻不离身。奥都剌合蛮派过来的御医诊察过后，连吃了几副药方，耶律楚材仍是每况愈下，终于在乃马真后三年五月十四日（1244年6月20日）与世长辞，享年只有五十四岁。
后人对耶律楚材评价甚高，普遍认为耶律楚材不仅是一位杰出的政治家，而且多才多艺，是一个在文化艺术方面有卓越修养和多种贡献的人。他是我国提出经度概念的第一人，编有《西征庚午元历》，还主持修订了《大明历》。他酷爱诗歌，写过不少诗作，现存于世的有《湛然居士文集》共十四卷。
耶律楚材在成吉思汗、窝阔台汗两朝任事近三十年，于蒙古国的治国、经济、军事、教育、人才保护、政治改革等等方面均做出了突出贡献。后人评价耶律楚材是千古名相一点都不为过！
耶律楚材在有生之年多次劝诫蒙古统治者不要滥杀无辜，改变了蒙古多年来屠城的残暴习惯，中原千百万生灵被保全了下来；积极推进蒙古尊孔崇儒、全面接收中原文化，使中原文明免遭浩劫。这些是耶律楚材对中国历史、中华文明做出的最大贡献！
相关
守孝：旧俗尊亲死后，服满以前，居住在家，断绝娱乐和交际，以示哀思。
特木尔：蒙古语意为“铁”。
行将就木：成语，出自春秋?左丘明《左传?僖公二十三年》。意思是指人寿命已经不长，快要进棺材了，比喻人临近死亡。
励精图治，笃行致远：成语，出自于东汉班固《汉书?魏相传》。意思是振奋精神，设法治理好国家，努力实现远大的理想。
瓮山泊：今北京市海淀区颐和园内昆明湖。
《西征庚午年历》：成吉思汗时期耶律楚材创制的历法。又名《麻答把历》。蒙古国初期承用金朝《大明历》，元太祖十五年(1220)，成吉思汗西征时，因《大明历》与时令不尽相符，命耶律楚材创制新历。耶律楚材在《大明历》基础上减周天73秒，岁差亦减73秒；又参考回回历法，创成新历。提出朴素的地球经度(里差)概念，为我国古代天文学的一项创见。题名曰《西征庚午元历》，简称《庚午元历》。
《大明历》：是由南北朝时期中国着名数学家、科学家祖冲之创制的一部历法，也称“甲子元历”。在历法中，祖冲之首次引入了“岁差”的概念，从而使得历法更加精确，是中国第二次较大的历法改革。
尊孔崇儒：思想上要遵循传统文化，以孔子为最高标准，尊敬传统文化。这是中国传统文化的一大特色，它强调以理学为根本、以儒家学说为主导的“尊孔、孝悌”的道德准则。即尊重先师诸子之教诲，重视君子之义行。