1982 yılında Avrupa Milli Görüş Teşkilatları Avusturya Bölge Başkanlığı görevine  getirildi. Daha sonra 1984 yılında, Avrupa Milli Görüş Teşkilatları`nda 10 yıl sürecek olan  tanıtmadan sorumlu Genel Başkan Yardımcılığı görevini yürüttü.İlk defa, siyasete resmi olarak 1987 yılında adım attı. Seçtiği il, ana-baba ocağı olan Rize oldu. Katıldığı milletvekili seçimlerinde ikinci sıradan aday gösterildi. %14.2 oy almasına rağmen kazanamadı. Şevki  Yılmaz, Rizede "Ya ben Rizeyi, ya Rize beni alır" parolasıyla çalışmalarına dava kardeşleriyle beraber devam  etti.1989 yılında belediye seçimlerinde tekrar aday gösterildi. RP bu seçimde ikinci parti  oldu.

1991 yılında yapılan milletvekilliği seçimlerinde, Rize`den tekrar aday gösterildi ve  % 19.8 oranında oy aldı. 1994 yılında mahalli idareler seçimi yapılacaktı. Refah Partisi süratle yükselişine devam etmekteydi. Belirli bir kesimin sonderece rahatsız olduğu bu yükselişin önüne geçebilmek için, seçimler öncesine yoğun bir RP karşıtı propaganda başlatılmıştı. Türkiye gündemi Şevki Yılmaz`la ilk defa bu esnada tanıştı. Hemen akabinde, RP kurmaylarına yönelik benzeri görülmemiş iftiralar, karalama kampanyaları başlatıldı. Tüm bu olumsuz şartlara rağmen, Belediye Başkan adayı olarak girdiği bu seçimde, ekibiyle birlikte yoğun bir seçim çalışması ve Allah`ın yardımıyla, %40 oy alarak Belediye Başkanı seçildi. Rize nihayet alınmıştı. Türkiye genelinde olduğu gibi Rize`de de büyük bir zafer kazanılmıştı. Bir Genel Başkan ve  Başbakan şehri olan Rize`de, seçimleri Şevki Yılmaz`ın kazanması bazı çevrelerde büyük rahatsızlıklar meydana getirdi.

1995 Milletvekili seçimlerinde, tekrar Rize`den milletvekili adayı oldu. Rakibi anamuhalefet lideri sayın Mesut Yılmaz "Rize`de bir milletvekili kaybedersem, seçimi tamamen kaybetmiş kabul ederim" diye propaganda yapmaktaydı.

Medya, yine seçim öncesi iftira yayınlarına başlamıştı. Tüm bunlar fayda vermedi. Şevki Yılmaz, Rize`de seçimleri vefakar ve cefakar ekibi ile birlikte kazandı ve Rize milletvekili olarak mecliste yerini aldı.

1996 yılında kurulan Refahyol Hükümetinin ekonomideki önemli bir kaç adımından rahatsız olan çevreler, sivil iradenin üzerine asker gölgesinin düştüğü "28 Şubat 1997 sürecini" başlattılar.

Bu süreçle birlikte, "İrtica" adına İslam kimliği hasbelkader taşıyan her kişi, her kurum ve hatta ticari kuruluşlar tehlike ve düşman ilan edildi.. BÇK (Bermuda Çetesi Grubu)'nun verdiği brifingler, medyanın kışkırtıcı ve asılsız yayınları ve de saldırıları Türkiye`yi, gayri hukuki bir zemine itti.Ülkenin birinci partisi, 4 milyon üyesi ve 6 milyon oyu bulunan Refah Partisi`nin kapatılması talebiyle dava açıldı. Şevki Yılmaz bütün bu saldırılarda hedefin, kendisi değil, partisi olduğunu göstermek için Refah Partisi`nden istifa etti. Ve RP, 19 ocak 1998 tarihinde, dünya hukuk tarihine "bir skandal belge" olarak geçecek ve tarihin akışı içerisinde hiç bir ehemmiyeti olmayan bir iddianameyle kapatıldı.

İddianamede adı geçen Şevki Yılmaz'da verilen karar neticesi, Prof.Dr. Necmettin Erbakan ve  Şevket Kazan, Ahmet Tekdal, İ.Halil Çelik, Hasan Hüseyin Ceylan, Şükrü Karatepe, Bekir Yıldız, Zeki Başaran, Selahaddin Aydar, Hasan Celal Güzel ve Recep Tayyib Erdoğan' la birlikte siyasi yasaklılar arasına sokuldu ve bu süreçte Avrupa'ya hicret ederek çalışmalarını orada sürdürdü.

Şevki Yılmaz, vatanından ve sevdiklerinden uzakta tam 7 yıl süren HİCRET hayatından sonra 19. Eylül. 2004 tarihinde yurda döndü..  Evli ve üç çocuk babası olan Şevki Yılmaz, mücadelesine çok sevdiği vatanına döndü..