گوارديولا در 21 ژوئن 2007 به سمت مربيگري تيم ب بارسلونا گماشته شد و موفق شد با قهرماني در ليگ دسته سه، اين تيم را به ليگ دسته دوم اسپانيا برساند. در پي اين موفقيت، خوان لاپورتا، رييس وقت باشگاه بارسلونا، پيش از پايان فصل 08-2007 اعلام کرد که از فصل بعدي گوارديولا جايگزين فرانک ريکارد هلندي خواهد شد و به نيمکت مربيگري تيم اصلي بارسلونا منتقل خواهد شد.
گوارديولا در نخستين سال حضورش با فروش رونالدينيو، ستاره برزيلي اين تيم و به خدمت گرفتن چند نفر از بازيکنان تيم ب بارسلونا نظير بوسکتس و پدرو تغييرات نسبتا بزرگي در تيم داد.
اولين فصل حضور پپ بر روي نيمکت مربيگري بارسا براي شکستن تمام رکوردها کافي بود. بعد از يک فصل فراموش نشدني، پپ دومين فصل را با گلباران رئال مادريد در نوامبر سال 2009 آغاز کرد.
درخشش خيره کننده گوارديولا در اولين فصل (قهرماني در لاليگا، ليگ قهرمانان اروپا، جام حذفي و جام باشگاههاي جهان) با موفقيتهاي ديگر در دو سال آينده ادامه يافت.
بارسلونا در سه سال اول مربيگري گوارديولا از 16 عنوان ممکن به 13 قهرماني در فوتبال اسپانيا، اروپا و جهان رسيد. دستاوردي که اين مربي جوان را تبديل به موفقترين مربي تاريخ اين باشگاه کرد.