If one paused for two, and afterward two others came and ate with him—he joins with them for zimmun. And we do not say that he already fulfilled his obligation of zimmun when he paused for the previous two, for since two others have now joined with him—he returns to his obligation (Bach and Magen Avraham subsection 3). And it appears to me that this is specifically when he ate after he paused for the two. But if he did not eat—he no longer joins. And all the more so in a group of five or six or more, where they paused for three of them or more, that they should not bless afterward with zimmun even if they ate afterward, for the obligation of zimmun has already departed from them after they all paused for those blessing. But if there was a group of nine, and one paused for the two who were blessing—he can join afterward with two others, and afterward with two others; since only he paused and they remained in their obligation—he joins with them. And if there was a group of five people, and one paused for two—he cannot join further with the remaining two, for an obligation of zimmun did not remain among them (Magen Avraham subsection 3). However, if they all ate afterward—they are obligated to perform zimmun for what they ate afterward (and so it is implied from the Gra"z). And it is not similar to what we wrote that even if they ate afterward they do not perform zimmun, for that is when they all paused for those blessing. But not when only one paused, and they have not yet fulfilled the obligation of zimmun; therefore, even though only two remained, nevertheless when they all eat afterward, he joins their obligation. Thus it appears in my humble opinion regarding these laws. (The Even HaEzer disagrees with the Magen Avraham. and according to what I have written there is no disagreement. Examine carefully and you will find it easy.)
אם אחד הפסיק לשנים, ואחר כך באו שנים אחרים ואכלו עמו – מצטרף להם לזימון. ולא אמרינן שכבר יצא ידי זימון כשהפסיק להשנים הקודמים, דכיון דעתה נצטרפו עמו שנים אחרים – חוזר לחיובו (ב"ח ומגן אברהם סעיף קטן ג'). ונראה לי דזהו דווקא כשאכל אחר שהפסיק להשנים. אבל אם לא אכל – אינו מצטרף עוד. וקל וחומר בחבורה של חמישה או ששה או יותר, שהפסיקו לשלושה מהם או ליותר, שלא יברכו אחר כך בזימון, אפילו אכלו אחר כך, דכבר פרח חובת זימון מינייהו אחרי שכולם הפסיקו להמברכים. אבל אם היה חבורה של תשעה, והפסיק אחד לשנים המברכים – יכול להצטרף אחר כך לשנים אחרים, ואחר כך לשנים אחרים; כיון שרק הוא הפסיק והם נשארו בחיובן – נצטרף להם. ואם היתה חבורה של חמישה בני אדם, והפסיק אחד לשנים – אינו יכול להצטרף עוד אל השנים הנותרים, שהרי לא נשאר בהם חובת זימון (מגן אברהם סעיף קטן ג'). אמנם אם אכלו כולם אחר כך – מחוייבים לזמן על מה שאכלו אחר כך (וכן משמע מהגר"ז). ואינו דומה למה שכתבנו דאפילו אכלו אחר כך אינן מזמנים, דזהו כשכולם הפסיקו להמברכים. אבל לא כשרק אחד הפסיק, והם לא יצאו עדיין חובת זימון, לפיכך אף על פי שנשארו רק שנים, מכל מקום באכלם כולם אחר כך מצטרף הוא לחיובם. כן נראה לעניות דעתי בדינים אלו. (האבן העוזר חולק על המגן אברהם. ולפי מה שכתבתי אין מחלוקת. ודייק ותמצא קל.)