USSR SHOP »
Магазин » X-Parser-PRO для парсинга контента
Купить X-Parser-PRO для парсинга контента
Описание товара:
X-Parser PRO профессиональная система парсинга контента, которая позволяет легко и быстро собирать текстовый контент с абсолютно любых сайтов, сниппеты и ссылки с любых поисковых систем, изображения с любого источника. X-Parser PRO имеет множество настроек, которые позволяют настроить его под самые разные задачи. X-Parser-PRO станет вашим лучшим помощником в создании сателлитов и дорвеев.
Многофункциональный модульный многопоточный универсальный парсер, который в полной сборке позволяет делать следующее:
1. Парсить выдачу любых поисковых систем по ключевым фразам сохраняя сниппеты и ссылки.
2. Парсить контент (текстовый) с любого сайта по заданному домену.
3. Парсить контент (текстовый) по ключевым фразам из выдачи любой ПС.
4. Парсить контент (текстовый) по заданному списку URLов.
5. Парсить внутренние ссылки с любого URLа в частности или сайта в целом.
6. Парсить внешние ссылки с любого URLа в частности или сайта в целом.
Прокси чекер в комплекте
Чтобы можно было парсить неограниченное количество контента, парсер комплектуется таким же быстрым прокси чекером. Он позволяет:
1. Проверять прокси по заданному списку проксилистов.
2. Проверять прокси по списку проксей.
3. Проверять индивидуально любой прокси.
4. Отбирать из списка качественные проксилисты.
5. Парсить списки прокси из выдачи Google и отбирать качественные.
Проверка прокси происходит с привязкой к цели использования! Например, если Вы хотите использовать прокси для парсинга Google, то его можно легко настроить, чтобы сразу отбирать только прокси сервера, незабаненные Google.
Производительность парсера
Ну а теперь самое интересное. Парсер контента X-Parser использует многопоточность. Количество потоков настраивается. Скорость парсинга на мегабитном канале составляет примерно 160 секунд на 1 мегабайт чистого текста, т.е. 500 мегабайт в сутки!!!
Скорость проверки прокси составляет около 100 прокси за 100 секунд, то есть за 100 секунд будет найдено примерно 100 рабочих прокси.
Модульность и интеграция в сторонние приложения
Исходный код выполнен модульно. Каждый модуль имеет свои параметры и функции. Без проблем встраивается в любой другой код, например в доргены. Изначально парсер писался для интеграции в сторонний код, поэтому в безинтерфейсном варианте он очень гибок и удобен в использовании (абсолютно все можно настраивать под свои нужды). В интерфейсном варианте вынесены только базовые настройки для удобства использования парсера без наличия знаний в области PHP.
Усовершенствования X-Parser-PRO, по сравнению с LIGHT-версией:
• Усовершенствованная система фильтров отпарсенного контента, которая дает на выходе максимально отфильтрованный контент;
• Вынесенные настройки, которые позволят максимально гибко управлять каждым парсером;
• Возможность самостоятельно собирать парсеры любых поисковых систем;
• Сохранение пресетов настроек;
• Фильтры по стоп-словам и/или включениям слов или фраз;
• Позволяет самостоятельно настраивать любые языки парсинга;
• Позволяет самостоятельно настраивать форматы вывода отпарсенного контента;
• Позволяет сохранять статьи как в один файл (группировка по ключевикам), так и в отдельные файлы;
• Позволяет управлять таймаутом обращения к ПС и начальной позицией, с которой парсить выдачу;
• Позволяет находить заданное количество статей;
Позволяет парсить Google, Yandex, Yahoo, Altavista, Aol, Bing, Rambler, Mail, а так же абсолютно любой сайт, который имеет систему поиска, например rusarticles.com.
Парсит контент на русском, английском, а так же любом другом языке.
Имеет возможность вывода текста без разметки (который может быть использован для генерации дорвеев), а так же вывода с полным сохранением исходного форматирования текста (заголовки, абзацы, выделения и т.п.).
Позволяет упорядочивать контент в формат под Textkit или в собственном формате X-Parser-XML, , а так же настраивать любой другой формат вывода.
Многофункциональный модульный многопоточный универсальный парсер, который в полной сборке позволяет делать следующее:
1. Парсить выдачу любых поисковых систем по ключевым фразам сохраняя сниппеты и ссылки.
2. Парсить контент (текстовый) с любого сайта по заданному домену.
3. Парсить контент (текстовый) по ключевым фразам из выдачи любой ПС.
4. Парсить контент (текстовый) по заданному списку URLов.
5. Парсить внутренние ссылки с любого URLа в частности или сайта в целом.
6. Парсить внешние ссылки с любого URLа в частности или сайта в целом.
Прокси чекер в комплекте
Чтобы можно было парсить неограниченное количество контента, парсер комплектуется таким же быстрым прокси чекером. Он позволяет:
1. Проверять прокси по заданному списку проксилистов.
2. Проверять прокси по списку проксей.
3. Проверять индивидуально любой прокси.
4. Отбирать из списка качественные проксилисты.
5. Парсить списки прокси из выдачи Google и отбирать качественные.
Проверка прокси происходит с привязкой к цели использования! Например, если Вы хотите использовать прокси для парсинга Google, то его можно легко настроить, чтобы сразу отбирать только прокси сервера, незабаненные Google.
Производительность парсера
Ну а теперь самое интересное. Парсер контента X-Parser использует многопоточность. Количество потоков настраивается. Скорость парсинга на мегабитном канале составляет примерно 160 секунд на 1 мегабайт чистого текста, т.е. 500 мегабайт в сутки!!!
Скорость проверки прокси составляет около 100 прокси за 100 секунд, то есть за 100 секунд будет найдено примерно 100 рабочих прокси.
Модульность и интеграция в сторонние приложения
Исходный код выполнен модульно. Каждый модуль имеет свои параметры и функции. Без проблем встраивается в любой другой код, например в доргены. Изначально парсер писался для интеграции в сторонний код, поэтому в безинтерфейсном варианте он очень гибок и удобен в использовании (абсолютно все можно настраивать под свои нужды). В интерфейсном варианте вынесены только базовые настройки для удобства использования парсера без наличия знаний в области PHP.
Усовершенствования X-Parser-PRO, по сравнению с LIGHT-версией:
• Усовершенствованная система фильтров отпарсенного контента, которая дает на выходе максимально отфильтрованный контент;
• Вынесенные настройки, которые позволят максимально гибко управлять каждым парсером;
• Возможность самостоятельно собирать парсеры любых поисковых систем;
• Сохранение пресетов настроек;
• Фильтры по стоп-словам и/или включениям слов или фраз;
• Позволяет самостоятельно настраивать любые языки парсинга;
• Позволяет самостоятельно настраивать форматы вывода отпарсенного контента;
• Позволяет сохранять статьи как в один файл (группировка по ключевикам), так и в отдельные файлы;
• Позволяет управлять таймаутом обращения к ПС и начальной позицией, с которой парсить выдачу;
• Позволяет находить заданное количество статей;
Позволяет парсить Google, Yandex, Yahoo, Altavista, Aol, Bing, Rambler, Mail, а так же абсолютно любой сайт, который имеет систему поиска, например rusarticles.com.
Парсит контент на русском, английском, а так же любом другом языке.
Имеет возможность вывода текста без разметки (который может быть использован для генерации дорвеев), а так же вывода с полным сохранением исходного форматирования текста (заголовки, абзацы, выделения и т.п.).
Позволяет упорядочивать контент в формат под Textkit или в собственном формате X-Parser-XML, , а так же настраивать любой другой формат вывода.