DLE Grabber Kodik v.6.7 1.0.0

История выхода версий:

v.1 - 21.02.2020 - Релиз

v1.1 - 14.07.2020:

1. Добавлена связка с модулем DLE SocialPostig, для отправки публикаций автоматически в Вашу группу Telegram/ВКонтакте/Твиттер и тд. (Должен быть установлен модуль SocialPosting)
2. Добавлены новые данные:
ID Shikimori
mpaa_rating
продюсеры,
писатели,
композиторы,
редакторы,
дизайнеры,
операторы
Слоган

v.1.1.1 - 14.07.2020:
3. Исправлена ошибка конфликта с официальным модулем Кодика - теперь граббер не заменяет собой офф модуль.

v2.0 - 03.09.2020:
1. Добавлена новая информация с Shikimori:
2. Добавлены новые категории для аниме с Shikimori
3. Добавлена возможность проставлять данные в уже существующие фильмы/сериалы/аниме на сайте:
Т.е. заполнять всю недостающую информацию в пустые доп. поля при переобходе, а так же недостающие категории.
4. Добавлена фильтрация-ограничения по годам и странам, для парсинга, например, только азиатских дорам или только турецких сериалов

v2.1 - 07.09.2020:
1. Фиксы с жанрами для фильмов и сериалов с Кинопоиска

v2.2 - 11.09.2020: 1. Исправлен парсинг скриншотов с Shikimori

v3.0 - 12.05.2021:
1. Переделана полностью логика модуля:

крон работает теперь по новому пути:

/engine/kodik/grab.php?...

2. Добавлен ручной парсер, для ручного поиска материалов Kodik на странице добавления/редактирования новостей
3. Добавлен вывод постеров для фильма при поиске фильмов/сериалов в ручном парсере
4. Исправлена загрузка скриншотов грабберов - если не выбрано куда парсить скрины - не грузит
5. Добавлены новые поля: "id" - ID Kodik и "mdl_id" - ID MyDramaList

v3.1
1. Сделан отдельный крон для обновлений и автоподнятий, отдельно от граббинга (/engine/kodik/grab.php?last)
2. Добавлено автообновление фильмов/сериалов - без ID Кинопоиска, по id других баз: IMDB/MDL/Shikimori
3. Добавлены новые настройки "Поднимать фильмы / мультфильмы / аниме при смене качества" и "Поднимать сериалы / мультсериалы / аниме-сериалы при смене сезонов и серий"
4. Добавлена перезапись полей при автообновлении если данные изменились "Последняя озвучка" и "Кол-во эпизодов"

v3.2 - 05.06.2021
1. Добавлена функция Форматирования серий и сезонов - для доп. полей и метатегов:
- Форматированная серия вида 1 серия, 2 серия, 3 серия
- Форматированная серия вида 1 серия, 1-2 серия, 1-3 серия, 1-4 серия
- Форматированная серия вида 1 серия, 1,2 серия, 1,2,3 серия, 1,2,3,4 серия
- Форматированная серия + 1 вида: если 1 серия - 1,2 серия, если 2 серия - 1,2,3 серия, если 5 серия - 4,5,6 серия
- Форматированная серия + 1 вида 1,2 серия, 1,2,3 серия, 1,2,3,4,5 серия, 1-5,6,7 серия
- Форматированный сезон вида 1 сезон, 2 сезон, 3 сезон
- Форматированный сезон вида 1 сезон, 1-2 сезон, 1-3 сезон
- Форматированный сезон вида 1 сезон, 1,2 сезон, 1,2,3 сезон
А так же функция прибавления серий и сезонов:
- Последняя серия + 1
- Последний сезон + 1 - в доп полях и в метатйтл
2.Добавлена настройка сколько прибавлять к серии/сезону:
см. вкладку сериалы (Последняя серия/сезон +1)
3. Полностью обновлена логика автообновления фильмов/сериалов - для материалов без ID Кинопоиска:
- если нет id kp - то проверять по id IMDb,
- если нет IMDb - то проверить по id MDL,
- если нет id MDL - то проверить по World Art,
- ну а если даже World Art нет - то проверить по Shiki
4. Добавлены новые фильтры для сортировки по рейтингам:
- Сортировать по рейтингу Кинопоиск
- Сортировать по рейтингу Imdb
- Сортировать по рейтингу shikimori
- Сортировать по рейтингу mydramalist
5. Добавлен фильтр "Запрещенные страны" -
не будут добавляться публикации только определенных стран. если ничего не выбрано - то все
6. Добавлены новые данные:
- next_episode_at - Время выхода следующего эпизода
- drama_genres - Жанры MyDramaList
- mydramalist_rating - Рейтинг MyDramaList
- mydramalist_votes - Количество голосов рейтинга на MyDramaList
- drama_status - Статус дорамы
- aired_at - Дата начала показа
- released_at - Дата конца показа
- episodes_aired - Количество уже вышедших эпизодов

v3.3 - 07.06.2021
1. Для сериалов - сделан fix для использования своих доп. полей для форматированных серий/сезонов
2. Фикс проставления формат. серий/сезонов в доп. поля и тайтл - при запуске автонаполнения граббером
3. Настройка формат. серий и сезонов - перенесена из вкладки "Сериалы" - в общую вкладку "Доп. поля"
4. Добавлен фильтр "Максимум актеров" -
можно указать ограничение на кол-во актеров
5. Добавлен фильтр "Максимум режиссёров" -
можно указать ограничение на кол-во режиссёров

v4.0 - 29.06.2021
1. Сделанана возможность постраничного вывода серий и сезонов при ручном парсинге, граббинге и при автообновлении серий:
- каждый сезон - отдельная страница
- каждая серия - отдельная страница
- SEO-настройка для страницы с серией
- постеры, описание для каждой серии
- кнопки переключение на пред. / след. страницу с серией внутри сезона
- вывод всех сезонов - на странице сериала
- вывод всех эпизодов, внутри одного сезона
- Вывод всех последних добавленных серий на сайт, через шорт-код {serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl
2. Добавлены следующие страницы для постраничного вывода серий:
- Страница с выводом всех сезонов сериала;
- Страница для отдельного сезона с выводом эпизодов внутри одного сезона;
- Страница для самой серии.
3. Добавлены новые теги модуля:
{season} - сезон
{episode} - серия
{episode-title} - название эпизода
{kadr} - постер серии *для работы тега нужно создать доп поле "kadr", тип поля "загружаемое изображение"
[prev-episode]{prev-episode} серия[/prev-episode] - ссылка на предыдущий эпизод, внутри сезона
[next-episode]{next-episode} серия[/next-episode] - ссылка на следующий эпизод, внутри сезона
{story} - описание эпизода
{season=[xfvalue_last_season]} - тег для вывода ссылок на все сезоны сериала, где [xfvalue_last_season] - это доп. поле с последним сезоном
{serialy news-id="{news-id}" season="[xfvalue_last_season]" limit="5"} - для вывода серий из последнего сезона
{serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизоды, например, на главной странице в main.tpl
4. Сделан вывод:
- Всех сезонов одного сериала на странице с сериалом.
- Всех эпизодов внутри одного сезона - на странице с сезоном.
- Вывод последних добавленных серий на сайт - в любой tpl сайта.
4. Сделана настройка SEO для страниц с сезоном / серией , возможность вывести отдельно описание для каждой серии, название серии, а так же постер для серии
4. На страницах просмотра серии реализована навигация на предыдущую и следующую серии внутри сезона
5. Исправлена проблема с кириллицей при граббинге в URL

v4.1
1. Добавлен новый метод скачиваний материалов базы Кодик в БД сайта, в таблицу _kodik из JSON-файлов со всеми фильмами, сериалами
2. Добавлены новые кроны для скачивания материалов базы. Список крон-задач см. в файле "крон.txt".
3. Добавлена проверка на дубли - по ID Kodik *должно быть создано и заполняться поле "kodik_id"

v4.2 Сделан запуск кронов модуля - по секретному ключу. Ключ - указывается в настройках модуля, в поле "Секретный ключ для крона".

v4.3 - 01.09.2021
1. Переделана работа граббинга - сделан граббинг только по Kodik API , оптимизированы лимиты на переобход, упрощён сам запуск крона

*благодаря увеличению лимитов жизни ссылок на страницы в API - теперь всё можно тянуть не с JSON а с API, с более тонкой фильтрацией

2. Граббинг по API теперь работает со след. функциями модуля:

- с разбивкой аниме-сериалов/сериалов на серии при граббинге материалов
- и при запуске крона ?last - для проверки новых серий у сериалов и аниме-сериалов и поднятия новостей

3. Переделаны пути к кронам и упрощён сам запуск крона, для удобства пользователям модуля :

убран запуск через php-f , как было до этого (без возможности ручного запуска через строку браузера)

сделан запуск: сайт/kodik&type=тип-видео - с запуском как на стороне сервера, так и вручную, через строку браузера, с удобным чтением логов граббинга

3. Добавлена кнопка очистки таблицы _kodik , внутрь модуля - "Обновить очередь", - для очистки таблицы при применении новых выставленных фильтров для граббинга

4. Реализована разбивка сериалов и аниме-сериалов на серии при граббинге - теперь работает и по API

5. Переделены след. фильтры - теперь отбор по фильтрам идет не во время граббинга - а сразу идет запрос на получение готового списка в API:

- по странам
- годам

*соответственно, уменьшена нагрузка на базу - при использовании фильтров - меньше получаем материалов по выставленным фильтрам - лучше работает модуль и быстрее идет граббинг)

6. Добавлены новые фильтры (с фильтрацией так же при запросе сразу в API):

- Порядок добавления материалов (вы можете выбрать в каком порядке будут добавляться фильмы. по дате или по рейтингу. по возрастанию или убыванию)
- Добавлен фильтр по озвучке
- Добавлен новый фильтр по типу перевода (только голосовой перевод или только субтитры)
- Добавлен фильтр по параметру camrip. Если указать включить, то будут выведены только материалы с качественной картинкой. Если выключить, то будут выведены все материалы.
- Добавлен фильтр материалов по странам, в которых они не должны быть заблокированы.
- Добавлен фильтр материалов по жанру - для ограничения грабинга, например, только мелодрам, только боевиков и тд.
- Добавлен фильтр материалов по минимальному возрасту, с которого можно смотреть
- Добавлен фильтр по возрастному рейтингу
- Добавлен фильтр по статусам Shikimori, MyDramaList (anons, ongoing, released)

7. Добавлен чекбокс "Использовать посерийный модуль (ВКЛ/ВЫКЛ)" - отключить, если на сайте не используется постраничная разбивка на серии
8. Убрана вставка названия материала в краткое/полное описание и дискрипшн при отсутствии описания у материала
9. Исправлена ошибка: при ручном парсере - не парсило у сериалов информацию , при редактировании новости - fix
10. Баг-фикс у аниме-фильмов и фильмов в доп.поля проставляло формат. серии и сезонов - fix
11. Добавлена новая настройка регистра и размера постера: "Размер постера": - например, можно выставить автоконвертирование в 200x160 или 120 или 0 для сохранения оригинального изображения

v4.4

1. Реализована автоматическая загрузка скриншота эпизода с API базы для посерийного модуля - при автоматической разбивке на серии. Скриншот: https://i.postimg.cc/T3G1Fmck/screenshot-1oct2021-00-36-42.png
2. Переделана логика парсинга эпизодов для постраничного модуля с базы при граббинге - теперь берется не последний эпизод, а episodes_total - кол-во эпизодов в сезоне
3. Пределена так же логика парсинга эпизодов - при ручном парсинге и автоообновлении ?last - значение кол-ва серий в сезоне берется теперь из массива "episodes" - берется последняя серия
4. Добавлена поддержка указания шаблона template="abc" - для тега вывода последних добавленных на сайт эпизодов {serialy last="yes" limit="5"} - при постраничном выводе серий
5. Добавлена возможность сортировки вывода серий внутри тегов: {serialy news-id="{news-id}" season="{season}"} и {serialy news-id="{news-id}" season="[xfvalue_last_season]"}
*sort="desc" - от последней до первой, sort="asc" - от первой до последней
6. Добавлена настройка "Загружать скриншот к эпизодам с API" - при постраничном выводе серий сериалов
7. Добавлен новый тег <a href="{first-episode-link}">Смотреть с первой серии</a> - для посерийного модуля
8. Добавлен тег [active][/active] - для подсветки текущего эпизода, который просматривает пользователь
9. Добавлена кнопка "Обновить kodik плеер" на странице добавления/редактирования новостей у соответствующего поля с плеером - для быстрого проставления плеера к материалу с базы, скриншот: https://i.postimg.cc/CKs1wKcF/screenshot-1oct2021-00-32-53.png
10. Исправлено сохранение настроек фильтра "Допустимые страны" - теперь сохраняет.

v4.5
1. Сделан ручной поиск всех сезонов аниме-сериалов - через ручной парсер на странице добавления/редактирования новостей;
2. Сделан граббинг всех сезонов аниме-сериалов (проверка идёт дополнительно по ID Shiki, если ID KP даже одинаковый - сравнение идет по ID Shiki ещё. ID Shiki если отличается - и добавляется материал) ;
3. Добавлена поддержка DLE 15 - исправлен парсинг скриншотов и постеров на новой версии DLE .

v4.6
- Добавлена функция "Конвертировать все загружаемые изображения в формат WebP" на DLE 15 для постеров и скриншотов;
- Изменен путь загрузки постеров для DLE 15 (на актуальный в новой версии dle);
- Исправлена настройка конвертирорвание регистра и размера постера на DLE v15;
- Исправлено заполнение поля shikimori_id;
- Исправлен парсинг "переводов" аниме и аниме-сериалов;
- Исправлена загрузка скриншотов на DLE 15;
- Изменен путь загрузки скриншотов для DLE 15 (на актуальный в новой версии dle).

4.7
- Добавлена поддержка PHP 8.0
- Добавлен новый раздел "Для постраничного вывода серий"
- Проделана работа по оптимизации работы посерийного парсинга для слабых серверов
- Исправлена работа доп поля ID Shikimori
- Исправлена работа доп поля id_kodik

4.8
1. Версии модуля для DLE 13-15x - объединены в один модуль
2. Исправлена ошибка с полем shikimori_id в таблице_Kodik при запуске крона (создание поля теперь идет при установке плагина)
3. Переделана логика разбития по категориям - жанры теперь берутся только из all_genres - для распределения не только по жанрам Кинопоиска, но и по жанрам Shikimori и Mydramlist
4. Обновлена инструкция для постраничного вывода серий для DLE 15-15.1
5. Добавлена функция "Анонсы" - настройка указания ID категории трейлеров, для убирания материалов из этой категории при появлении материала в базе, через крон автоподнятия &last
6. Добавлена сортировка эпизодов сериалов по ID (sort="id") для постраничного вывода серий для тега {serialy sort="id" last="yes" limit="5" template="abc"} - для вывода именно последних добавленных на сайт эпизодов
7. Фикс сортировки эпизодов для постраничного вывода серий по возрастанию/убыванию

4.9
- Добавлена функция массового проставления данных для существующих новостей на сайте - на данные с базы Кодик. Простановка идёт по ид КП, если нет - по Шикимори ид, если нет - тогда по названию материала.
* Внимание! Перезапись (простановка) идёт именно настроенных полей во вкладке "доп. поля". Перед простановкой пожалуйста заполните все предыдущие вкладки и сохраните. А так же настоятельно рекомендуем сделать бекап своей базы данных. Простановка будет происходить не зависимо от включения автодобавление и автообновления. Заполняться будут только выбраные вами категории и доп поля.

- Добавлена функция массового разбития сериалов на отдельные страницы с сериями и сезонами (работает так же через функцию массового проставления данных, но при включенной функции "Посерийный вывод")
- Добавлено простановка link="canonical" для отдельных страниц серий и сезонов, при постраничном выводе серий и сезонов, для ссылания именно на эту страницу серии и/или сезона

v5.0

1. Добавлен вывод всех сезонов аниме-сериалов на одной странице новости с аниме-сериалом в плеере - поиск и вывод сезонов происходит по id kinopoisk , при клике на сезон подгружаются серии данного сезона, при клике на озвучку - подгружаются серии доступные в данной озвучке в этом сезоне
3. Исправлена, убрана привязка к названию поля для сезонов и серий при автоподнятии
5. Добавлено попадение страниц серий и сезонов для постраничного вывода серий - в sitemap сайта

v5.1

1. В плейлист кроме вывода всех сезонов аниме по ID KP - добавлен так же вывод фильмов, аниме и мультфильмов, для одинаковой работы плеера на всех типах видео
2. Добавлено временное разделение на +1 секунду при массовом автоподнятии новостей
3. Фикс нахождения точного фильма с строгим соблюдением ID (ранее могло быть так, что первые 4 цифры подходили под запрос)

v5.2

1. Изменен способ временного промежутка на +1 секунду при массовом автоподнятии новостей: добавлен в код:

sleep(2); - где 2 - это кол-во секунд, на которые нужно увеличить промежуток, можно увеличить вручную на нужное кол-во времени

2. Исправлено попадание страниц серий и сезонов для постраничного вывода серий - в sitemap сайта

3. Сделана разбивка на sitemap1 sitemap2 и т д - для постраничного вывода серий и сезонов, теперь карту сайта разбивает на части, если модуль спарсено много эпизодов и сезонов на сайте *файл serialy.xml

4. Фикс НЕоставления исходного файла jpg , при конвертации в webp для DLE 15+ - в архиве *файл - func.php

5. Сделана защита от повторного запуска крона, во избежания дублей на сайте - если быстро дернуть файл несколько раз то сработает лишь один раз, на 3 сек блокируется. Можно вручную увеличить время блокировки от повторного мгновенного запуска - задать не 3 сек а 5 или 30 дать *файл - grab.php

6. Фикс точного нахождения сезонов для аниме-сериалов в плейлисте со строгим соблюдением ID

7. Фикс заполнения всех полей при массовом проставлении, теперь не застревает

v5.4
1. Обновление до версии движка DLE 15.2
2. Добавлена одновременная проверка при граббинге сразу по всем ID: ID KP, ID ShiKi, ID MDL - для избежания дублей при отсутствии какого-либо ID
3. Добавлен mdl_id в тбл dle_kodik для проверки по ID MydramList
4. Фикс массового проставления

v5.5
1. Добавлена одновременная проверка сразу по всем ID: ID KP, ID ShiKi, ID MDL - при массовом проставлении данных
2. Обновление постраничного вывода серий и сезонов под DLE 15.2
3. Обновление плагина формирования метатегов у постраничного вывода серий под версию DLE 15.2
4. Добавлены реврайты для серверов на Ngnix для постраничного вывода серий и сезонов

v5.6
- Добавлено отправление серий и сезонов сначала на модерацию, при постраничном выводе серий и сезонов (для DLE 13-0-15.1 и для DLE 15.2 - сделаны разные плагины)
- Улучшили парсинг/граббинг серий и сезонов для постраничного вывода серий и сезонов: ранее брали только первый пришедший ответ, теперь модуль прогоняет всё, со всего массива
- То же самое - для массовой простановки данных + ручного парсинга
- Подправили файл крона - добавил в инструкцию команду --no-check-certificate -O /dev/null -q - для тех сайтов, у которых самописные сертификаты SSL

v5.7
- Сделана одновременная проверка по ID KP, IMDB, MDL и Shikimori, при поиске по названию материала - для более точного поиска по материалам базы
- Сделана настройка заносить в категорию "онгоинг"
- Добавлена настройка "Убирать из категории Онгоинг", если изменился статус аниме-сериала
- Добавлена автозамена английских названий аниме-статусов с базы - на русское название, средствами модуля: 'anons' = "Анонс"; 'ongoing' "Онгоинг";'released'= "Релиз"

v5.8
1. Исправлена проблема с "not found" в автоподнятии и обновлении - в последнем обновлении писало, что нет материала на сайте, даже если он есть - ИСПРАВЛЕНО
2. В ручном парсере в "Добавить новость" и "редактировать новости"- исправлен парсинг рандомного тв-сезона аниме-сериала, теперь парсит верный выбранный сезон

v5.9

1. Добавлен фильтр добавлять ли материалы с ЛГБТ-сценами.
2. Во вкладку "Категории" - добавлены новые категории:

- Завершён - если статус материала "released"

- ongoing - если статус материала "ongoing"

- Анонс - если статус материала "anons"

- Special - если это специальный выпуск к основному материалу
3. Добавлен выбор, добавлять ли материалы OVA, ONA, Special

v6.0
1. Добавлена поддержка PHP 8.1
2. Добавлена функция "Перенес материала из одной категории в другую":

Если у материала статус с "anons" при запуске крона &last сменился на статус "ongoing" -то убираем из категории "Анонсы" и переносим в категорию "ongoing". Если у материала статус "ongoing" при запуске крона &last сменился на статус "released" -переносим категорию "Завершенные"

примечание: модуль так же понимает выставленные в настройках пользовательские значения для статусов (anons - "анонс", realised- "вышел")

3. Добавлено так же выставление своих значений статусов для дорам
4. Фикс занесения в категории anons, realised, ongoing и special
5. Фикс проставления значений "возрастное ограничение" и "Статус дорамы"
6. Добавлено в настройки новое поле "all_status"

v6.1
- Добавлены два новых чекбокса: не добавлять без постеров и не добавлять без описаний.

v6.2
1. Разделили проверку при кроне автообновления &last иды кинопоиск, shikimori и mydramlist
2. Улучшена функция изменения категории материала через крон. Статус материала теперь берется не из anime_status, а из all_status. Таким образом модуль будет корректно работать не только с аниме, но и с дорамами.
3. Добавлены два новых чекбокса: не добавлять без постеров и не добавлять без описаний.

v6.3
1. Исправлена работа крона при парсинге дорам (для фильтра "Допустимые страны" - и крон &type=serial), теперь не дублирует
2. Исправление: ранее не заносило аниме в OVA и ONA при парсинге &type=anime. Следует создать категории ova и ona и указать в них соответствующее наполнение в модуле во вкладке категорий
3. Сделана настройка "Группы пользователей: кому разрешено в админке использовать модуль"
4. Перенесли engine/inc/kodik_grabber.php удалить можно. он теперь в плагине
5. Постеры теперь пишет без добавления url-сайта, начинает сразу с папки /uploads , для более удобного переноса сайтов
6. Убрали неактуальное поле "Лицензионный ключ"

v6.4
1. Поправлена работа массовой простановки на DLE 16.0 (файл rebuild.php)
2. Поправили работу модуля посерийки dle_serials - работу с COLUMN moder
3. Добавлена в модуль кнопка "Поиск точного значения для стран и жанров: если чекбокс включен: добавлять к countries и genres - приставку _and."
4. И небольшое дополнение в файл инструкции по крону -  добавлен способ запуска крона автодобавления - чаще раза в минуту.
5. И добавили в инструкцию строки для хостинга Hostland
curl "https://сайт.ком/engine/kodik/grab.php?secret_key=ключ" >/dev/null 2>&1

v6.5
1. Добавлены новые доп. поля:

Форматированный сезон + 1 вида: если 1 сезон - 1,2 сезон, если 2 сезон - 1,2,3 сезон, если 5 сезон - 4,5,6 сезон

Форматированный сезон + 1 вида 1,2 сезон, 1,2,3 сезон, 1,2,3,4,5 сезон, 1-5,6,7 сезон

2. Исправления ошибок.

v6.6
1. В ручной поиск выведено значение LGBT (Да/Нет) и Camrip (Да/Нет)
2. Добавлен туда же вывод значения года выхода year
3. Теперь информация о кинопоиске ($kp_id) будет выводиться только в том случае, если значение кинопоиска не пустое.
4. Немного подправили стили для ручного поиска

v6.7
1. Добавлена ручное создание и редактирования сезонов для постраничного вывода сриалов: номер сезона (цифра), описание сезона, название сезона, изображение сезона.
2. Добавлено ручное добавление серий, с выбором прикрепленного сезона.
3. Переделана логика вывода последних добавленных на сайт эпизодов для тега {serialy..}. Добавлена сортировка sort по id, date. Полe last убрано совсем - оно более не актуально. Направление сортировки теперь через тег order: asc, desc, по умолчанию: desc.
4. В таблицу БД добавлена дата добавления эпизода.
5. Добавили кучу проверок при добавлении вручную серий и сезонов.