Мы в твиттере Мы в телеграме!

Провеббер » DataLife Engine » DLE модули » Граббер DLE сайтов

Набор в команду! Ведется набор в команду, для наполнения сайта новым, интересным контентом. Если у тебя есть предложения, свободное время, ты обладаешь интересным контентом, и хочешь поделиться с другими?
Обращайся к нам в ЛС группы Вконтакте.

Граббер DLE сайтов

Данный материал предоставлен сайтом ProWebber.cc исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.
Скачать бесплатно Граббер DLE сайтов.


Просто граббер, только с DLE и только на DLE. Его отличительной особенностью является то, что он, в отличии от других грабберов, не использует регулярных выражений для парсинга, а вместо этого используется DOMDocument (класс, встроенный в PHP, который парсит документ как XML). Это нужно для тех сайтов-доноров, на которые новости добавляются через WYSIWYG редактор.

Это, можно сказать, минималистичный граббер, который позволяет за один раз грабить хоть сто, хоть двести, сколько угодно страниц с сайта-донора. Так-же он может скачивать картинки на ваш сайт и накладывать на них водяной знак (watermark).

Автор: nikita2206


Небольшой FAQ:
Скачайте сам архив по ссылкам ниже.
Создайте папку в корне сайта с любым именем(напр. "grabber", но лучше какое-нибудь такое имя, чтоб простой прохожий не набрал в браузере адрес типа http://ваш-сайт/grabber/index.php и не награбил вам чего-попало:), т.к. защита паролем здесь отсутствует).
Все, теперь можете зайти в граббер по адресу http://ваш-сайт/имя-папки/index.php (index.php - должен быть обязательно!).
Когда вы запустите грабинг, то сможете нажать на статусную надпись( например "Сейчас грузится" ), чтобы увидеть более подробно - какая страница в данный момент грузится и какая загрузилась с ошибкой( да и такое бывает :))... По окончании грабинга внизу, под этими страницами, вы увидите картинку с двумя круглыми стрелками, нажмите на нее если какие-то страницы загрузились с ошибкой, тогда граббер попытается загрузить их снова.
В граббере вы, я думаю разберетесь, там все очень просто.

От себя (автора данной публикации на PW) скажу, что сам попробывал его в работе. Скрин работы Вы можете увидеть ниже:


Тестировал модуль на локалке (Denwer). Ждал от силы пару минут - граббер ничего так и не награбил (вспомните платные грабберы). Дальше, уменьшил кол-во страниц с 1 до 2, подождал минут 5 - результата никакого:


Далее, я решил, что нужно все-таки наделать скринов об успешной работе модуля и подождал еще 10 минут (PW, прости :biggrin: ):


Как это выглядело на сайте:



Почему нету картинок? Я думаю, что, это из-за того, что в .htaccess PW прописан "Антилич" для картинок. Если нет, тогда проблема в граббере.





Если Вы выберите, чтобы картинки не загружало, то граббинг будет длится до 5 минут (в зависимости от кол-ва страниц)


Другая информация:

Важно: для корректной работы граббера требуется расширение для PHP - mb_string.
Если mb_string не подключен, то граббер вам сообщит об этом (по вопросам подключения данного расширения обращайтесь в поддержку Вашего хостинга).

Буду рад спасибкам и репе :ok:


Внимание! У Вас нет прав для просмотра скрытого текста.


Дополнительные ссылки на скачивание ТОЛЬКО для зарегистрированных


+1
Просмотры: 31 381 :: Комментарии (43) :: :: Нужна помощь? Задайте вопрос на форуме ::
Теги: DLE граббер
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь.
Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.

#21stroynikov

  • 19 апреля 2010 09:28
  • Регистрация: 17.10.2009
  • Был(а) онлайн: 28.03.2011
  • Комментариев: 11
  • 0
оличный граббер, но картинки не грабит ((

#22=макс=

  • 3 мая 2010 17:04
  • Регистрация: --
  • Был(а) онлайн: --
  • Комментариев: 0
  • 0
Помогите пожалуйста с грабером! на сайте с которого надо срочно сграбить (много) в админке отключен ЧПУ и ссылки на новость уже другого вида( как быть грабер не срабатывает! или может его как то надо перенастроить! Пришли ответ на мыло пожалуйста! а то времени нет часто заходить коменты проверять! [email protected] !!! Зарание очень благодарен!!!!


Даже так пробовал писать в грабере!!! _ttp://****.net/index.php?do=cat&category=music всё ровно ошибки...
_ttp://****.net/news так тоже не работает...

#23Artur33

  • 9 мая 2010 14:36
  • Регистрация: 19.04.2010
  • Был(а) онлайн: 20.03.2011
  • Комментариев: 46
  • 0
оличный граббер всё чики пуки!

#24ldel

  • 13 мая 2010 15:26
  • Регистрация: 9.04.2010
  • Был(а) онлайн: 12.10.2013
  • Комментариев: 5
  • 0
как в этом грабе сделать авторизацию на чужом саите а то много че не сграбишь(((

#25rsskanal.com

  • 29 мая 2010 12:22
  • Регистрация: 29.05.2010
  • Был(а) онлайн: 31.05.2010
  • Комментариев: 2
  • 0
Зачем вам грабберы сейчас rsskanal.com эту работу делает вам только нужно зарегиться,указать какие категории вас интересуют и т.д и публикации сами к вам в базу данных залезут :) ,вопросы по асе 592034803

#26JetPilot

  • 30 мая 2010 15:01
  • Регистрация: 19.04.2010
  • Был(а) онлайн: 1.12.2010
  • Комментариев: 20
  • 0
кто то проверял на 8.5 работает?

#27rsskanal.com

  • 30 мая 2010 16:10
  • Регистрация: 29.05.2010
  • Был(а) онлайн: 31.05.2010
  • Комментариев: 2
  • 0
rsskanal.com в данный момент в бета тесте,поэтому пишите на [email protected] кто хочет автоматизировать свой сайт или попробовать,посмотр cool ите эфективен этот сервис,бесплатно
ICQ:592034803

#28dexgun

  • 28 сентября 2010 13:24
  • Регистрация: 28.09.2010
  • Был(а) онлайн: 26.11.2010
  • Комментариев: 1
  • 0
dance Автор просто прикалуется над вами!На самом деле код этого говна ни чуть не похож на граббер,а скорей "ожидайбер" как придурок у компа

blush Хотя... беру свои слова обратно.Грабте люди!Но так как процесс довольно сложный скрипт требует немного времени.Ну как говорится все будет надо только подождать!!
Ждите!!!

#29MaKoSh

  • 2 ноября 2010 20:27
  • Регистрация: 11.09.2010
  • Был(а) онлайн: 9.09.2015
  • Комментариев: 13
  • 0
Ругается на mb_convert_encoding. Что нужно сделать чтобы работал?

#30djinn11

  • 27 ноября 2010 19:52
  • Регистрация: 17.01.2010
  • Был(а) онлайн: 31.10.2017
  • Комментариев: 55
  • +1
Как его установить, подскажите пожалуйста!

#31vsv-ivanovo

  • 7 января 2011 13:42
  • Регистрация: 17.10.2010
  • Был(а) онлайн: 30.06.2021
  • Комментариев: 15
  • 0
У меня с картинками проблема, когда грабит когда нет. Под нет я подразумеваю, что он как бы сграбил, но на месте картинки ссылки и только когда по ней нажмёшь она появится. Как исправить7 У меня версия 8.5

#32vladik865

  • 6 февраля 2011 13:58
  • Регистрация: 26.05.2010
  • Был(а) онлайн: 14.07.2017
  • Комментариев: 3
  • 0
Почемуто дает ошибку!
В логе вот это:
Номер ошибки: 13

Ошибка: Permission denied
2011-02-06T12:53:10+02:00

_______________________

На сайте с которого граблю 100% DLE

#33Dimitriy32

  • 18 февраля 2011 11:05
  • Регистрация: 8.11.2010
  • Был(а) онлайн: 28.10.2012
  • Комментариев: 30
  • 0
Работает, но авторизацию вшить не помешало бы...

#34Amirali

  • 2 мая 2011 16:16
  • Регистрация: 2.05.2011
  • Был(а) онлайн: 1.01.2015
  • Комментариев: 11
  • 0
а почему на скире показзанно как новость сграбил а карттиинки неотображаеться?

#35Ronike

  • 6 июля 2012 19:58
  • Регистрация: 6.07.2012
  • Был(а) онлайн: 6.07.2012
  • Комментариев: 1
  • 0
Спасибо большое Автору.

#36tamok00

  • 27 июля 2012 23:04
  • Регистрация: 25.07.2012
  • Был(а) онлайн: 25.05.2013
  • Комментариев: 4
  • 0
с DLE 9.6 не работает dash ищу граббер уже 2 недели в гугле уже 20 страницу наверное открываю

--------------------

#37monarx2005

  • 9 августа 2012 14:18
  • Регистрация: 9.08.2012
  • Был(а) онлайн: 9.08.2012
  • Комментариев: 2
  • 0
А у меня не граббит. выбивает ошибки станиц и все.

В чем причина того что он не работает?

В логе вот такая ошибка.
Номер ошибки: 1364
Ошибка: Field 'xfields' doesn't have a default value
2012-08-09T16:12:56+06:00

#38corphell

  • 14 октября 2012 16:29
  • Регистрация: 12.06.2012
  • Был(а) онлайн: 3.04.2023
  • Комментариев: 1
  • 0
Не грабит с категорий например moyavto.com/suzuki/ помогите пжл

#39velanuta

  • 27 января 2013 08:11
  • Регистрация: 17.11.2010
  • Был(а) онлайн: 22.09.2020
  • Комментариев: 11
  • 0
тест chok
Граббер просто супер автору спасибо

#40tema2434

  • 11 марта 2013 19:00
  • Регистрация: 11.03.2013
  • Был(а) онлайн: 24.11.2013
  • Комментариев: 3
  • 0
А у меня не фига не работает с l2maxi.ru пытаюсь грабить не фига не грабит! Бредовый граббер

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Архив новостей
Декабрь 2024 (10)
Ноябрь 2024 (9)
Октябрь 2024 (169)
Сентябрь 2024 (13)
Август 2024 (60)
Июль 2024 (12)

Последние комментарии: