При долгом выполнении проекта, он зависает. Были разные мысли по этому поводу. Но склоняюсь к тому, что по мере получения элементов программа продолжает их "помнить" до конца. Когда элементов тысячи, не хватает никаких ресурсов компьютера и программа просто падает.
Есть 2 проекта, при работе которых я пришел к такому выводу. Первый - программа парсит страницы компаний, отзывы к ним и публикует на сайте. Сначала работает очень быстро, но после 30 организаций всё медленнее, задумывается над каждым действием. После того, как спарсит около 200 организаций и 1500-2000 отзывов просто тупо зависает. В диспетчере задач видно, что один из процессов потребляет в это время 90% памяти и грузит процессор на 99%.
Второй проект - нужно собрать ссылки на страницы на одном сайте. Всех ссылок должно быть около 2 млн. Сначала работало всё с огромной скоростью. Но когда были получено 197000 ссылок, такая же картина, как и в первом случае - нагрузка на процессор 99%, потребление памяти - 95%.
Может я что-то описал не совсем правильно, но, думаю, смысл понятен.
Отсюда предложение к разработчику - нужно как-то по мере выполнения проекта вычищать логи и кэш. Если это возможно, конечно. Или может быть есть другой способ облегчить работу программы?
Спасибо.