Арестован в Москве в ночь с 21-го на 22-е марта 1938г.

  Рытьков, уже находясь в Лубянской тюрьме, случайно в коридоре встретил своего друга Гаврилова, который, не выдержав истязательств, сломавшись на допросах, прошептал (на эсперанто): "Прости меня, я донес на тебя, ты можешь сделать то же самое против меня. По крайней мере ты тогда не так будешь страдать. В любом случае мы все будем отправлены в концлагерь".

  Решением ОСО при НКВД СССР от 2 июля 1938 г. "за контрреволюционную деятельность" ("участие в фашистской шпионской организации эсперантистов и клеветнические измышления о положении в СССР") осужден на 8 лет ИТЛ (исправительно-трудовых лагерей). Находился в заключении в Свитлаге МВД СССР до 19 марта 1946 г., после чего работал там же по вольному найму до октября 1946 г.

  Повторно арестован 17 мая 1949 г. По данным УВД Красноярского крайисполкома Н.Рытьков был осужден 13 июля 1949 г. отделом МГБ по Московской области по ст.58-6 и направлен на поселение. По наряду от 1 августа 1949 г. прибыл в ссылку на поселение в Енисейский район Красноярского края, в 1952 г. переведен в Норильск...

  От спецпоселения освобожден 25 сентября 1954 г. Полностью реабилитирован определением Военного трибунала Московского военного округа от 3 ноября 1955 года.