1669年历法案件之后，安文思和利类思也渐渐远离了朝堂，因为他们一直坚持传教士远离政治的信条。南怀仁留下来做了康熙的老师，同时在钦天监任职。尽管南怀仁多次在写给欧洲的信中流露出想要远离政治，只做一个神父的志愿，但他权衡再三，认为侍奉康熙左右对整个传教事业更有利。对于他在朝廷任职，欧洲教会还是有非议的，他解释说，能够近距离接触到皇帝对传教事业来说是天赐良机。他在信中还写道，他经常坐在康熙身边，一边喝着太监送过来的奶茶(估计是酥油茶，原文是“混有牛奶的茶”)，一边手把手教康熙学习数学和几何。他反问质疑他的人，要是他不入宫，怎么把欧洲的东西介绍给中国的皇帝？