Парсинг файлов и API

Помимо веб-сайтов, FlowCrawler может использовать внешние HTTP API или локальные файлы в качестве источников данных.

Парсинг файлов

Для загрузки текстового файла используется блок Открыть файл. Он позволяет извлечь всё содержимое целиком, либо выдавать строку за строкой, чтобы вы могли обработать каждую отдельно.

При загрузке файлов содержащих JSON, их содержимое можно отправить блоку Парсер JSON, чтобы извлечь только нужные поля.

При работе с CSV-файлами можно использовать блок Разбить из группы Строки. Он позволяет указать разделитель, по которому строка будет разбита на сегменты. Каждый сегмент затем можно подать на отдельный выход, чтобы применить индивидуальную логику.

Парсинг HTTP API

При помощи блока Запрос вы можете загружать данные из Интернет не используя браузер, а отправляя простой GET-запрос. Этот блок на выходе выдает код и тело ответа, которые никак заранее не обрабатываются и представляют собой ответ сервера в чистом текстовом виде.

Для обработки ответов можно использовать те же средства, что и описанные выше для файлов.