1902年10月，張之洞代理兩江總督，即命繆荃孫、許乃昌、柳詒徵等8人（加上仆人、剃頭匠、廚師各1人，共11人）赴日考察教育。沒過多久，魏光燾就任兩江總督，張之洞回本任，繆等又被電報召回。

此后繆荃孫一邊教書，一邊著述，還在南京置產，記道：“寒家自曾祖以來無立錐地，茲積歷年館谷，置此數廛，亦云幸矣?！?/p>

1905年，名臣端方出國考察，發現“近百年來，歐美大邦興學稱盛，凡名都巨埠，皆有官建圖書館”，提出“強國利民，莫先于教育，而圖書館實為教育之母”。

1907年，端方籌辦江南圖書館，聘繆荃孫為總辦。在任上，繆荃孫作出的最大貢獻是購入錢塘丁家“八千卷樓”藏書。

“八千卷樓”是清代杭州人丁國典的藏書樓，因其遠祖、宋代的丁顗曾藏書八千卷，故有此名，是晚清四大藏書樓之一。1861年，“八千卷樓”毀于戰火，1888年，丁國典之孫丁丙、丁申重建此樓。

因家道中落，后人丁立誠不得不將藏書出售。此前四大樓之陸氏皕宋樓藏書被日本巖崎氏以11.8萬元購去，致3000多冊珍本外流，舉國震驚。

在繆荃孫等人游說下，端方湊了7.3萬元，最終以7萬元購下“八千卷樓”藏書，其中僅宋版就有40種。為安置這批書，耗銀3.47萬兩，專門建了兩棟藏書樓。

1909年，張之洞出任體仁閣大學士，籌建京師圖書館，邀繆荃孫主事。當年5月，繆已知其事，欣然準備赴任。（《北京晚報》）