And the opinion of the "some say" is the opinion of the Tur in this siman, who wrote, and this is his wording: Regarding an androgynos, the Rambam wrote that his law is like a saris chama etc. and such is the opinion of the Rif; but according to the opinion of Ri, his law is like a complete male in all his matters, and such is the conclusion of my father, the Rosh, of blessed memory. Thus far his words. And his words are puzzling, for what is the connection between one and the other? And also the conclusion of the Rosh is not at all regarding this matter, but rather regarding the matter that his law is like a complete male, and certainly it is so; but regarding the matter of chalitzah and yibbum, his law is like a saris chama (Beit Yosef). And behold, on the contrary, the Rosh also brought at the end of the first chapter the Tosefta that we brought, see there. And already all the poskim have taken issue with him (Beit Yosef and Bach and Maharshal and the Gra in subsection 18, and he took issue with the Beit Shmuel). And it appears to me that he follows his reasoning in siman 44, where he wrote there that regarding an androgynos who was betrothed to a man, the opinion of the Rambam is that it is a case of uncertain kiddushin, and he disagreed with him, see there. Behold, according to the Rambam, even though regarding cohabitation in the aspect of his maleness he is like a male, nevertheless there is also in him an uncertainty of femaleness, and therefore we are concerned for kiddushin when a man betroths him, and automatically he must not be capable of procreation, for he has no seed or his seed is not fit to procreate, and he is similar to a saris chama; for if he were capable of procreation, how is it possible to have an uncertainty in him regarding femaleness? But the Tur, who holds that he is a certain male even for leniency and we are not concerned at all for his femaleness, and we say that it is merely a hole, if so, who told us that he is not fit to procreate? And the Tosefta would hold that he is an uncertain male or uncertain female, therefore of necessity he is not fit to procreate as I wrote; but if we say that he is a complete male, from where do we know that he is not fit to procreate? And in any case, if he has the signs of a saris, we have exempted him for that reason and not for the reason of his being an androgynos, and of necessity he does not have the signs of a saris and it is possible that he is also fit to procreate. Therefore, for the halachah, he performs chalitzah and does not undergo yibbum (and perhaps this is the intention of the Beit Shmuel as well, see there and examine carefully).
ודעת הי"א היא דעת הטור בסי' זה שכתב וז"ל אנדרוגינוס כתב הרמב"ם שדינו כסריס חמה וכו' וכן הוא דעת הרי"ף אבל לדעת ר"י דינו כזכר גמור לכל דבריו וכן היא מסקנת א"א הרא"ש ז"ל עכ"ל ודבריו תמוהין מה ענין זל"ז וגם מסקנת הרא"ש אינו כלל לענין זה אלא לענין דדינו כזכר גמור ובוודאי דכן הוא אבל לענין חליצה ויבום דינו כסריס חמה (ב"י) והרי אדרבא דגם הרא"ש הביא בספ"ק תוספתא שהבאנו ע"ש וכבר השיגו עליו כל הפוסקים (ב"י וב"ח ומהרש"ל והגר"א סקי"ח והשיג על הב"ש) ולי נראה דהולך לשיטתו בסי' מ"ד שכתב שם דאנדרוגינוס שנתקדש לאיש דעת הרמב"ם דהוה ספק קדושין וחלק עליו ע"ש הרי דלהרמב"ם אע"ג דלענין ביאה בצד זכרותו הוא כזכר מ"מ יש בו גם ספק נקבה ולכן חיישינן לקדושין כשקידשו איש וממילא דבע"כ אינו בר הולדה שאין לו זרע או שזרעו אינו ראוי להוליד ודמי לסריס חמה דאם הוא בר הולדה איך אפשר לספק בו בנקבה אבל הטור דס"ל דהוא זכר וודאי גם לקולא ולא חיישינן כלל לנקבותו ואומרים שהוא נקב בעלמא א"כ מי הגיד לנו שאינו ראוי להוליד והתוספתא תסבור דהוא ספק זכר ספק נקבה הלכך בהכרח שאינו ראוי להוליד כמ"ש אבל אם נאמר דהוא זכר גמור מנלן שאינו ראוי להוליד וממ"נ אם יש בו סימני סריס נפטרנו מטעם זה ולא מטעם אנדרוגינוסותו ובע"כ שאין בו סימני סריס ואפשר שגם ראוי להוליד ולכן לדינא חולצת ולא מתייבמת (ואולי זהו כוונת הב"ש ג"כ ע"ש ודו"ק):