У груд. 1904 призначений єпископом Кам’янець-Подільським і Брацлавським. За активної участі П. відбувся Кам’янець-Подільський єпархіальний з’їзд, на якому було ухвалено рішення домагати-ся перед владою запровадження української мови у семінарії та ін. школах духовного відомства. Найвагомішим здобутком подільського періоду життя П. дослідники називають видання українсь-кою мовою євангелія, наклад якого (5000 прим.) розійшовся упродовж місяця. Це вид. єпископ уважав чи не головною справою свого життя. Після революції 1905–1907 П. було переведено до Тули. Відомості про цей період життя П. дуже скупі, а з його листування зі сподвижниками у Ка-м’янці помітно, що він сумує за Поділлям та Україною.
У 1917 П. переїхав на Полтавщину, де активно опікувався українізацією парафій, сприяв упрова-дженню української мови у навчальні заклади, підтримував Українське церковне братство. За спо-гадами К. Кротевича, П. прибув до Полтави на запрошення членів українського церковного братства і одразу взявся до керівництва справами. Тоді ж він дав згоду і на керівництво УАПЦ в єпархії. Осівши у Полтавському Хрестовоздвиженському монастирі, П. вступив в управління єпархією навесні 1920. Попри те, що доводилося працювати в оточенні старого консервативного духівництва й ченців Хрестовоздвиженського монастиря, П. вдалося висвятити більше як 30 священиків, брати у справах УАПЦ жваву участь, заохочувати духовенство до церковної проповіді рідною мовою. Проте, на думку В. Липківського, досить скоро П. «не витримав характеру», впроваджуючи таємну лінію проти оголошеної автокефалії УАПЦ: листувався з патріархом Тихоном, де запевняв патріарха, що взяв українську церкву під своє керівництво лише на те, щоб «заспокоїти цих дітей» і затримати їх в послушності патріархові, називав себе «послушним сином». Отож, можна припустити, що П. не мав однозначної позиції щодо УАПЦ, вагався і прагнув дотримуватися «букви закону», сподіваючись на злагоду з усіма; намагався служити церкві, дотримуючись її канонів, які сприймав як самоцінність. 1921 Собор єпископів (Синоду) Православної церкви України видав наказ про виключення всього духовенства українських парафій з «духовного звання», скасування ВПЦР та про ліквідацію Спілки українських парафій. Окрема постанова Собору стосувалася власне П., де його діяльність піддавалася осуду. Постанова пропонувала П. «ради мира и пользы украинской Церкви прислать на имя Священного собора епископов (синода) в письменной же форме заявление о том, что в церковные дела чужих епархий он – архиепископ Парфений – не вмешивается и под свое управление никого из не принадлежавших к его Полтавской области не принимает; канонического общения с запрещенными или низверженными от других епископов не имеет и нимало не поддерживает людей, сеющих в Украинской церкви смуту, ставленников для чужих епархий не рукополагает и без надлежащего обращения местных епископов в чужие епархии не переводит…». До Полтави від «Собору єпископів всієї України» було надіслано листа, у якому вимагалося від П. офіційної заяви про розрив всяких відносин із київськими українцями: у противному разі Собор звернеться до патріарха з проханням вжиття заходів проти непокірного архієрея. Натомість собор київських єпископів обрав П. своїм митрополитом. Екзарх Михаїл і Синод, дізнавшись про це, вжили проти П. рішучих заходів. До Полтави відбула делегація синоду, яка «загрозила йому заборонами та відлученням, коли він не зречеться і митрополитства, і української церкви». Після цього П. на вимогу делегації написав заяву, що він «зрікається української церкви, бо вона різко порушила закони, пориває зв’язки з ВПЦР і обрання на митрополита київського не приймає». Синод єпископів одразу поширив заяву П., яка, без перебільшення, приголомшила українців, надавши наснаги тихонівцям. Невдовзі після цих подій П. помер. Похов. на цвинтарі біля Полтавського Хрестовоздвиженського монастиря.