Многопоточная Обработка web-страниц
В общем в таблице есть список ссылок, по которым надо пройтись (Скачать) распарсить. Всё что касается парсинга и скачивания уже готово.
На 2к страниц тратится около 9-15 минут, естественно без учёта ширины канала, и мощности компьютера. Хотелось бы как-то это оптимизировать.
google подсказал многопоточность. Только вот вопросы возникли: как контролировать количество потоков? Как передавать потоку ТУ ссылку, которая ещё не обработана?
|