Мы в твиттере Мы в телеграме!

Провеббер » DataLife Engine » DLE модули » Граббер DLE сайтов

Набор в команду! Ведется набор в команду, для наполнения сайта новым, интересным контентом. Если у тебя есть предложения, свободное время, ты обладаешь интересным контентом, и хочешь поделиться с другими?
Обращайся к нам в ЛС группы Вконтакте.

Граббер DLE сайтов

Данный материал предоставлен сайтом ProWebber.cc исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.
Скачать бесплатно Граббер DLE сайтов.


Просто граббер, только с DLE и только на DLE. Его отличительной особенностью является то, что он, в отличии от других грабберов, не использует регулярных выражений для парсинга, а вместо этого используется DOMDocument (класс, встроенный в PHP, который парсит документ как XML). Это нужно для тех сайтов-доноров, на которые новости добавляются через WYSIWYG редактор.

Это, можно сказать, минималистичный граббер, который позволяет за один раз грабить хоть сто, хоть двести, сколько угодно страниц с сайта-донора. Так-же он может скачивать картинки на ваш сайт и накладывать на них водяной знак (watermark).

Автор: nikita2206


Небольшой FAQ:
Скачайте сам архив по ссылкам ниже.
Создайте папку в корне сайта с любым именем(напр. "grabber", но лучше какое-нибудь такое имя, чтоб простой прохожий не набрал в браузере адрес типа http://ваш-сайт/grabber/index.php и не награбил вам чего-попало:), т.к. защита паролем здесь отсутствует).
Все, теперь можете зайти в граббер по адресу http://ваш-сайт/имя-папки/index.php (index.php - должен быть обязательно!).
Когда вы запустите грабинг, то сможете нажать на статусную надпись( например "Сейчас грузится" ), чтобы увидеть более подробно - какая страница в данный момент грузится и какая загрузилась с ошибкой( да и такое бывает :))... По окончании грабинга внизу, под этими страницами, вы увидите картинку с двумя круглыми стрелками, нажмите на нее если какие-то страницы загрузились с ошибкой, тогда граббер попытается загрузить их снова.
В граббере вы, я думаю разберетесь, там все очень просто.

От себя (автора данной публикации на PW) скажу, что сам попробывал его в работе. Скрин работы Вы можете увидеть ниже:


Тестировал модуль на локалке (Denwer). Ждал от силы пару минут - граббер ничего так и не награбил (вспомните платные грабберы). Дальше, уменьшил кол-во страниц с 1 до 2, подождал минут 5 - результата никакого:


Далее, я решил, что нужно все-таки наделать скринов об успешной работе модуля и подождал еще 10 минут (PW, прости :biggrin: ):


Как это выглядело на сайте:



Почему нету картинок? Я думаю, что, это из-за того, что в .htaccess PW прописан "Антилич" для картинок. Если нет, тогда проблема в граббере.





Если Вы выберите, чтобы картинки не загружало, то граббинг будет длится до 5 минут (в зависимости от кол-ва страниц)


Другая информация:

Важно: для корректной работы граббера требуется расширение для PHP - mb_string.
Если mb_string не подключен, то граббер вам сообщит об этом (по вопросам подключения данного расширения обращайтесь в поддержку Вашего хостинга).

Буду рад спасибкам и репе :ok:


Внимание! У Вас нет прав для просмотра скрытого текста.


Дополнительные ссылки на скачивание ТОЛЬКО для зарегистрированных


+1
Просмотры: 31 380 :: Комментарии (43) :: :: Нужна помощь? Задайте вопрос на форуме ::
Теги: DLE граббер
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

#1UnderFire

  • 14 марта 2010 10:47
  • Регистрация: 25.01.2010
  • Был(а) онлайн: 4.06.2011
  • Комментариев: 32
  • 0
Если б синонимайзер к нему ещё был, цены б ему не было) biggrin

#2chak

  • 14 марта 2010 11:41
  • Регистрация: 3.01.2010
  • Был(а) онлайн: 2.10.2019
  • Комментариев: 446
  • 0
UnderFire,
Можно прикрутить. По всем вопросам в личку. Есть 10-и мегабайтная база ok

#3UnderFire

  • 14 марта 2010 12:15
  • Регистрация: 25.01.2010
  • Был(а) онлайн: 4.06.2011
  • Комментариев: 32
  • 0
chak, думаю все поддержат идею с синонимайзером. В ЛС не могу написать, так как пишет про

#4BR0kEN

  • 14 марта 2010 13:16
  • Регистрация: 29.11.2009
  • Был(а) онлайн: 30.11.2013
  • Комментариев: 255
  • 0
UnderFire, ахахахаха, очисти ящик! dash

--------------------

#5Weber

  • 14 марта 2010 13:48
  • Регистрация: 5.01.2010
  • Был(а) онлайн: 21.05.2023
  • Комментариев: 15
  • 0
Так грабер рабочий или нет ?

#6chak

  • 14 марта 2010 15:02
  • Регистрация: 3.01.2010
  • Был(а) онлайн: 2.10.2019
  • Комментариев: 446
  • 0
Weber,
Да, полностью рабочий! Скриншоты, как ты мог видеть, делал я сам. Весь процесс и т.п. есть, читай внимательно новость:)

kep,
Это мне надо почистить biggrin

UnderFire,
Сейчас почищу ящик, напиши мне ok


#7jonson

  • 14 марта 2010 15:16
  • Регистрация: 12.03.2010
  • Был(а) онлайн: 6.07.2011
  • Комментариев: 2
  • 0
Грабер рабочий. Тестировал на 8.5 snore

#8ameba

  • 14 марта 2010 16:14
  • Регистрация: 14.03.2010
  • Был(а) онлайн: 4.01.2014
  • Комментариев: 1
  • 0
Та же фигня. В админке новости есть, а на сайте их нет.

А опубликовать новости не пробовал?

#9chak

  • 14 марта 2010 16:36
  • Регистрация: 3.01.2010
  • Был(а) онлайн: 2.10.2019
  • Комментариев: 446
  • 0
Wells,
быть этого не может! Я на 8.5 тоже тестировал, только на локалке - все отлично работало! В принципе, Вы смотрели скрины, и на сайте как выглядит новость в т.ч. тоже скрин есть. Сейчас попробую на хостинге попробывать. Отпишусь.

#10James026

  • 14 марта 2010 18:05
  • Регистрация: 23.12.2009
  • Был(а) онлайн: 16.05.2012
  • Комментариев: 49
  • 0
хм,ну что сказать,простой удобный грабер)
всегда пригодиться)

#11barkan

  • 5 апреля 2010 14:26
  • Регистрация: 5.04.2010
  • Был(а) онлайн: 29.02.2012
  • Комментариев: 1
  • 0
тестил на локалке, не кажет...
скринов в статье нет, удалили наверно... а жаль.
mb_string не подключен, на локалке...ее вообще на локалке возможно включить? если да то как?

Пробовал грабить другими грабберами, в админки пишется "Всего новостей огого скока" а на сайте не опубликовываются, хотя в админки и опубликовывал и чо только не делал.(проблема как и в предыдущих постах)

#12trainracing

  • 7 апреля 2010 10:46
  • Регистрация: 26.12.2009
  • Был(а) онлайн: 21.04.2010
  • Комментариев: 4
  • 0
Все работает на дле 8.3 тока картинки не показывает

#13MaxiMoruM

  • 10 апреля 2010 12:14
  • Регистрация: 1.11.2009
  • Был(а) онлайн: 20.11.2024
  • Комментариев: 14
  • 0
На Дле 7,5 работает ШИКАРНО!!!!!!!!!! в самом грабере не пишет что новости добавились, а на главной странице красуется куча новых новостей!!!!

#14DJHITMAN

  • 10 апреля 2010 16:31
  • Регистрация: 16.01.2010
  • Был(а) онлайн: 28.09.2016
  • Комментариев: 24
  • 0
мне не понравился скрипт

--------------------

#15kalika

  • 10 апреля 2010 19:27
  • Регистрация: 13.12.2009
  • Был(а) онлайн: 7.07.2011
  • Комментариев: 3
  • 0
поставил на 8.5 все пашет и картинки встают, только вот сортировать потом чуствую замонаться можно

#16Nikolas_Sharp

  • 11 апреля 2010 14:03
  • Регистрация: 11.04.2010
  • Был(а) онлайн: 20.04.2010
  • Комментариев: 20
  • 0
Хмммм. Я качал сразу же граббер с парсером не помню с какого сайта. Правда база там на 6Мбайт.

#17Callen

  • 11 апреля 2010 19:52
  • Регистрация: 10.04.2010
  • Был(а) онлайн: 1.05.2010
  • Комментариев: 21
  • 0
гыгы спасибо за очень полезный скрипт

#18czart

  • 13 апреля 2010 03:50
  • Регистрация: 5.02.2010
  • Был(а) онлайн: 2.02.2017
  • Комментариев: 135
  • 0
Граббер отличный забил им базу аж на 270 метров

короче получилось 39978 новостей и все с картинками и все нормально. Двигло у меня 8.3 и на другом сайте 8.5 cool

--------------------

#19ms500

  • 15 апреля 2010 21:13
  • Регистрация: 15.04.2010
  • Был(а) онлайн: 5.10.2010
  • Комментариев: 9
  • 0
А с 8.0 он будет работать, кто ставил подскажите Заранее СПС

#20FaNt1000

  • 17 апреля 2010 13:42
  • Регистрация: 17.04.2010
  • Был(а) онлайн: 6.02.2011
  • Комментариев: 6
  • 0
Граббер просто супер good автору спасибо clapping

--------------------

1 2 3
Предыдущая    Следующая
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Архив новостей
Декабрь 2024 (10)
Ноябрь 2024 (9)
Октябрь 2024 (169)
Сентябрь 2024 (13)
Август 2024 (60)
Июль 2024 (12)

Последние комментарии: