两者的具体职责也有所区别，且御史大夫这一官职的设置充满权力制衡的智慧。凡称“御”，往往是指皇帝本人所用。御史大夫就直属于天子，不对丞相负责。因为他的职责里，有一块很重要的任务就是监察百官，包括丞相。假如需要对丞相负责，就无法正常行使监察权。按照西汉初期惯例，丞相一职空缺之后，就由御史大夫升任，如此御史大夫必然会对丞相实施非常严格的监督，以求早日将其弹劾离位。这一制度的设置，避免了丞相的权力过于膨胀而不受约束。