Usai itu, Gus Ipul melanjutkan pendidikan di SMP Islam Pasuruan, Jawa Timur, dan menempuh pendidikan atasnya di sekolah islam yang sama. Pasca lulus SMA, Gus Ipul kuliah di Universitas Nasional Fakultas Ilmu Sosial dan Ilmu Politik.

Keponakan Presiden ke-4 RI, Abdurrahman Wahid atau Gus Dur itu, mengawali karier organisasi di sayap pemuda Nahdlatul Ulama (NU), GP Ansor. Lalu, pada tahun 1999, Gus Ipul menjabat sebagai Ketua Umum GP Ansor menggantikan Iqbal Assegaf yang wafat.

Ia lalu terjun ke dunia politik, saat terpilih menjadi anggota DPR lewat PDI Perjuangan (PDIP). Tapi, pada tahun 2001 ia memutuskan untuk mundur hingga keluar dari PDIP, dan berubah haluan dengan masuk ke PKB.

Di PKB, Gus Ipul pun sempat menjabat Sekjen PKB pada tahun 2002. Setelah itu, ia juga dipilih Presiden ke-6 RI, Susilo Bambang Yudhoyono (SBY) menjadi Menteri Negara Pembangunan Daerah Tertinggal.

Walau demikian, Gus Ipul dicopot dari jabatannya sebagai menteri dan Sekjen PKB, lantaran adanya konflik internal. Pada tahun 2008, ia memutuskan untuk maju pada Pilgub Jatim sebagai cawagub dari Soekarwo.

Ia menang dan dilantik pada 21 Januari 2009 oleh Menteri Dalam Negeri (Mendagri) saat itu, Mardiyanto. Kemudian, pada Pilgub Jatim 2013, dia lagi-lagi bersama Soekarwo mencalonkan diri dan kembali menang.

Lalu, pada Pilgub Jatim 2018, Gus Ipul kembali maju. Tapi, ia kini menjadi cagub dan berpasangan dengan Puti Guntur Soekarno. Namun demikian, ia kalah dengan pasangan Khofifah Indar Parawansa-Emil Dardak.