парсер

Подписаться на эту метку по RSS

Написал парсер Яндекс Вебмастера на Zennoposter. Предлагаю скачать и испытать бесплатно. Если появятся вопросы или проблемы, то пишите в комментариях.

Писать парсеры для ZennoPoster не сложно и даже легко. Есть небольшие тонкости, которые не сразу видишь, но внимательному человеку они не страшны. Мне же чуть пришлось помучатся... smile

Далее...

Напишу статью о том как сэкономить деньги на покупке парсеров. Поэтому и название статьи такое.Если у вас есть комбайн Textkit Standart, то вам не нужен платный парсер...Постараюсь показать и рассказать как использовать Textkit в этой технологии.

Первое-Как скачать чужой сайт?

Немного об этике...Считаю, что чужой сайт можно сграбить, если сайт сделан, как чистый ГС. У меня часто бывало, что находил хорошую книгу под сайт, но этот материал уже был использован на каком-то сайте. Но этот сайт был отвратительно сделан, чистый ГС. Плохая структура сайта, плохой дизайн, плохое разбиение статей, использование для навигации, не анкоров, а только номеров. Считаю чистые ГС не должны существовать! Ну это, конечно, спорно, но всеже...Если увидите, что книга используется всего один раз, то без проблем можете грабить, но постарайтесь сайт получше сделать!

Для грабежа использую 2 варианта:

1) Качалку сайта Teleport, если нет Карты сайта

2) Самописную утилитку, которая скачивает страницы по списку url (Для создания списка url использую карту сайта)

Использование Teleport Pro

Самое главное указать в настройках нового проекта Копировать сайт со структурой каталогов

Настройка Teleport Pro

Это даст вам возможность легче структурировать скаченный контент и выбрать из нужных каталогов только (используя также название файлов, которые сгенерировались по url) те файлы которые содержат только полные тексты статей. Т.е. зачем нам весь страницы с всяким мусором grin, типа всяких аннонсов и страниц с рубриками?

Далее...