It appears more likely that the poskim do not hold like the explanation of Rashi, that the reason one who takes his reward for inspecting firstborns may not have a slaughter performed based on his word is due to suspicion, but rather as the Ramban wrote in his laws. This is his wording: The reason for this Mishnah is because it is forbidden to take a reward for a ruling, and one who takes it nullifies his ruling, and for this reason one does not slaughter based on his word, etc. And if there were a concern for suspicion, it would also be forbidden for Ila, etc. Rather, it is because of the reward for a ruling, etc. However, if he exerts effort, he may take for his effort and his idleness, etc. But a reward for inspection, no, unless, etc. like Ila in Yavne, etc. for since, etc. he is required to inspect at every single moment, etc. and he is completely idled from his work, the sages ordained for him, etc. Thus far his words. And according to this, it is correct that there is no difference between a visible blemish and a blemish that is not visible, or between one and three.
ויותר נראה דהפוסקים לא ס"ל כפירש"י דטעמא דהנוטל שכרו לראות בכורות אין שוחטין על פיו הוא מטעם חשדא אלא כמ"ש הרמב"ן בהלכותיו וז"ל טעמא דהא מתניתין משום דאסור למישקל אגר הוראה ומאן דשקיל מבטל הוראה דיליה ומש"ה אין שוחטין על פיו וכו' ואי הוה איכא למיחש לחשדא לאילא נמי אסור וכו' אלא משום אגר הוראה הוא וכו' אלא אי קא טרח לשקול טירחיה ובטלותיה וכו' אבל אגר ראיה לא אא"כ וכו' כאילא ביבנה וכו' דכיון וכו' דכל שעתא ושעתא בעי למיחזי וכו' וקמיבטל ממלאכתו לגמרי תקינו ליה רבנן וכו' עכ"ל ולפ"ז שפיר אין חילוק בין מום גלוי למום שאינו גלוי ובין אחד לג'.