Данный материал предоставлен сайтом ProWebber.cc исключительно в ознакомительных целях. Администрация не несет ответственности за его содержимое.
Скачать бесплатно Универсальный граббер с DLE сайтов на uCoz (модуль новости).
Скачать бесплатно Универсальный граббер с DLE сайтов на uCoz (модуль новости).
Описание:
Универсальный граббер с DLE сайтов на uCoz (модуль новости)
Краткое инфо по пользованию граббера:
1. Требования к хостингу
Версия PHP >= 5;
Должна присутствовать библиотека iconv;
Хостинг должен быть с поддержкой сокетов.
2. Установка
1) Залейте содержимое скрипта на хостинг.
2) Установите на директорию cache права на запись(chmod 777).
3. Настройка
Откройте файл config.php
Впишите ваш домен на укозе:
Установите логин администатора/модератора/репортера и его пароль:
3. Как пользоваться?
Зайдите через браузер http://your_site.ru/grabber_path/
В поле аbout:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер
В новой версии реализовано:
Возможность использовать синонимайзер
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
Исправленно:
Ставить ссылки в теги
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
Как пропускать содержимое новостей через синонимайзер:
ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую http://smartbyte.org
1) Установите в конфиге
на
2) Установите на директорию contents права на запись(chmod 777)
3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
4) Пропустите содержимое директории contents через синонимайзер
5) Зайдите через браузер в http://your_site.ru/grabber_path/ на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается
Как создавать правила для граббинга с любых сайтов:
1) Откройте файл mysites.txt
2) korrespondent.net меняете на сайт который будите граббить
3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это
Между ними поставьте (.*)
Получится
4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
5) [qpage] Фрагмет HTML кода со страницами
Ищет последнюю страницу страницу автоматически
6) [page] - url формат страниц
Например, есть ссылка - http://0day.kiev.ua/modules.php?name=News&pagenum=2
Формат [page] Будет такой http://0day.kiev.ua/modules.php?name=News&pagenum=(.*)
7) Список функций и их предназначение:
@striptags - Ф-ция удаляет теги
@clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
@htmltobb - Ф-ция преобразует HTML код в BB коды
@rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
Допустим вам надо поставить имя автора в начале текста или в конце
Например:
То для того чтоб поставить автора в начало необходимо выполнить такие команды
Ф-ция @a - выполняет добавление содержимого в поток
Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид:
надо выполнить команду @restart )
Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось , используйте данную функцию
Если сайт в кодировке UTF-8 то следует использовать функцию @utf
8) Ну это, пожалуй и все запускайте браузер вводите http://your_site.ru/grabber_path/ и начинайте граббить сайт
Универсальный граббер с DLE сайтов на uCoz (модуль новости)
Краткое инфо по пользованию граббера:
1. Требования к хостингу
Версия PHP >= 5;
Должна присутствовать библиотека iconv;
Хостинг должен быть с поддержкой сокетов.
2. Установка
1) Залейте содержимое скрипта на хостинг.
2) Установите на директорию cache права на запись(chmod 777).
3. Настройка
Откройте файл config.php
Впишите ваш домен на укозе:
$_cfg['ucoz']['site'] = 'www.ru';
Установите логин администатора/модератора/репортера и его пароль:
$_cfg['ucoz']['login'] = 'lavrik';
$_cfg['ucoz']['password'] = '785fgsd24asd';
3. Как пользоваться?
Зайдите через браузер http://your_site.ru/grabber_path/
В поле аbout:blank впишите адрес DLE сайта с которого будите граббить и жмите энтер
В новой версии реализовано:
Возможность использовать синонимайзер
Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
Исправленно:
Ставить ссылки в теги
<noindex></noindex>
$_cfg['grabber']['savecontents'] = TRUE; // TRUE - вкл. FALSE - выкл.Возможность создавать правила для граббинга с любых сайтов(подобных DLE)
Как пропускать содержимое новостей через синонимайзер:
ГЛАВНОЕ: для того чтоб вы могли использовать данную опцию у вас должен быть синонимайзер! Я рекомендую http://smartbyte.org
1) Установите в конфиге
$_cfg['grabber']['savecontents'] = FALSE;
на
$_cfg['grabber']['savecontents'] = TRUE;
2) Установите на директорию contents права на запись(chmod 777)
3) Добавляйте новости как раньше они появятся в папке contents (!! кодировка файлов будет в UTF-8 !!)
4) Пропустите содержимое директории contents через синонимайзер
5) Зайдите через браузер в http://your_site.ru/grabber_path/ на главной странице будет ссылка Залить контент нажмите ее. И ожидайте пока контент будет заливается
Как создавать правила для граббинга с любых сайтов:
1) Откройте файл mysites.txt
2) korrespondent.net меняете на сайт который будите граббить
3) Заходите на главную страницу нажимаете просмотр HTML кода ищите HTML фрагмент который повторяется
допустим это
<div id='news-id
и его закрывающий элемент допустим это </td></tr>
Между ними поставьте (.*)
Получится
<div id='news-id(.*)</td></tr>
4) [title], [small], [fulllink], [full] - работает по тому же принципу что и [style]
5) [qpage] Фрагмет HTML кода со страницами
Ищет последнюю страницу страницу автоматически
6) [page] - url формат страниц
Например, есть ссылка - http://0day.kiev.ua/modules.php?name=News&pagenum=2
Формат [page] Будет такой http://0day.kiev.ua/modules.php?name=News&pagenum=(.*)
7) Список функций и их предназначение:
@striptags - Ф-ция удаляет теги
@clean - Ф-ция удаляет лишние пробелы, табуляции и тд.
@htmltobb - Ф-ция преобразует HTML код в BB коды
@rm(value) - Ф-ция удаляет содержимое value с текста (например ...)
Описание функций: @a, @a.ТЕГ, @a(текст)б @restart и @emptyhtml
Допустим вам надо поставить имя автора в начале текста или в конце
Например:
<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
То для того чтоб поставить автора в начало необходимо выполнить такие команды
[full]
@a([b ]Автор:[/b ])
Автор: (.*)</td>
@a
@restart
id='news-(.*)</div>
'>Новость: (.*)
@a.center
@emptyhtml
Ф-ция @a - выполняет добавление содержимого в поток
Ф-ция @a.center - выполнит добавление в поток + содержимое будет в тегах Ф-ция @restart - загрузит нетронутый HTML код ( после выполнения команды Автор: (.*) текст для обработки будет Vasya для того чтоб он обрел первичный вид:
<td>Автор: Vasya</td></tr><tr><td><div id='news-2412'>Новость: текст текст текст</div>
надо выполнить команду @restart )
Ф-ция @emptyhtml - в конце обработки сценария [small], [full], [title] обработанный текст автоматически добавляется в поток для того чтоб этого не случилось , используйте данную функцию
Если сайт в кодировке UTF-8 то следует использовать функцию @utf
8) Ну это, пожалуй и все запускайте браузер вводите http://your_site.ru/grabber_path/ и начинайте граббить сайт
Внимание! У Вас нет прав для просмотра скрытого текста.