A németországi Kerpenben látta meg a napvilágot 1813-ban. Szülei egyszerű, szegény emberek voltak. Az elemi iskolában tanítója és plébánosa is észrevette a gyermek tehetségét, de hiába, a szülők nem tudták vállalni a magas gimnáziumi tandíjat. Így hát 13 éves korában cipészinasnak adták. 17 éves korától hét éven át, mint segéd vándorolt: egyrészt szerette volna szakmájában tökéletesíteni magát, másrészt arról álmodozott, hátha talál valahol pártfogót, aki iskoláztatását vállalná. Nyitott szemmel járt a világban, és elborzasztotta, amit látott: erkölcstelenség, jövőtlenség, alkalmatlanság, lelkiismeretlenség – ez a kép fogadta mindenhol segédtársai közt a műhelyekben.
Egyre jobban érezte, ő az, aki arra hivatott, hogy tegyen ez ellen. Elhatározta, hogy pap lesz. Nehezen, de pártfogókra is talált, s 23 éves (!) korában végre elkezdhette a gimnáziumot. 1844-ben lett a kölni papnevelő intézet hallgatója, s egy év múlva, 1845. április 13-án pappá szentelték. Első kápláni állomása Elberfeld, a textilipar egyik fellegvára lett. Ugyanazok a problémák fogadták itt is, amiket más nagyvárosokban is látott: gyökértelenség, nincstelenség, erkölcsi sivárság, kallódó fiatalok. Óriási erővel vetette bele magát a munkába, hogy végre tehessen valamit azokért, akiknek nemrég még sorstársa volt. A legényegylet eszméje azonban nem az ő, hanem egy Breuer nevű jóakaratú tanító fejében fogalmazódott meg: Breuer esténként ingyen oktatásban részesítette a legényeket, elbeszélgetett velük problémáikról. Kolping nemcsak lelkes támogatója lett az ügynek, de meglátta, hogy itt a nagy lehetőség: elterjeszteni a legényegyleteket szerte az országban, – ez lehet az ifjúság erkölcsi romlásának megállítója. 1849-ben Kölnbe ment, s alig egy hónap múlva már a legényegyletek ottani létrehozásán fáradozott. Kidolgozta a Katolikus Legényegyletek működésének máig érvényben lévő szabályait, alapelveit.
Az egylet fiataljai számára Kolping hármas célt fogalmazott meg:
– Legyenek jó családapák, mert a család a társadalom lelki megújulásának alapja.
– Váljanak szakmájuk mestereivé, akik tanultak, műveltek és készek az állandó önképzésre. Szeressék és becsülettel végezzék munkájukat.
– Váljanak igazi polgárokká, szerezzenek polgári erényeket, amelyek a hazához és a néphez kötik őket.
Természetesen e célokat áthatják a vallásosság, a tiszta keresztényi élet, és a szeretet eszméi. Az 1850-es években egymás után alakultak Németországban a katolikus legényegyletek. Sőt, a mozgalom túllépett az országhatáron, szerte Európában kedvező fogadtatásra talált. Kolping fáradhatatlanul dolgozott, buzdított mindenütt a legényegyletek létrehozására. Eredményeit maga IX. Pius pápa is nagyra értékelte. A rengeteg munka, az utazások azonban felőrölték Kolping amúgy is beteg szervezetét (ifjúkora óta tüdőbajjal küszködött). 1865. december 4-én, Kölnben halt meg. A „legényegyletek atyjának” testét a minoriták templomában helyezték örök nyugalomra, óriási részvét mellett. Halálával azonban a legényegyletek nem bomlottak fel szervezőmunkájának hála, az irányítás mindenütt a megfelelő emberek kezében volt. Az eszme nem torpant meg, sőt egyre szélesebb tömegeket hódított meg.