Инструкции

Нумерация ответов может меняться, в зависимости от частоты обновления и добавления инструкций.

Инструкции для сайта на системе Joomla3

С чего начать после покупки сайта на Joomla 3?

После покупки сайта необходимо:

• Установить сайт на хостинг и подкрепить домен к нему (см. пункт ниже)
• Заменить метрику, гугл аналитикс, вебмастер (см. пункт ниже)
• Заменить главный email, настроить комментарии, уведомления Cookie (если необходимо) (см. пункт ниже)

Как установить сайт на хостинг и подкрепить домен к сайту на Joomla 3?

После покупки сайта вы получаете домен под полное управление.
Также получаете ссылку на два архива: бекап базы данных и самого сайта.

Разберем первую часть: Подкрепить домен и создать директорию сайта.

Я буду показывать на примере хостинга Beget (который я настоятельно рекомендую), так как это один из самых удобных для работы, а также относительно недорогой хостинг, с изумительной поддержкой.

После регистрации на сайте нам нужно подкрепить домен и создать директорию сайта.

Если домен на beget.com

он у вас уже будет в панели хостинга в разделе "Домены и поддомены".

Если домен на reg.ru

то вам необходимо на сайте reg.ru в настройках домена прописать отдельно 4 поля DNS от хостинга Beget.
Кликнув на интересующий домен - переходим "Управление" - "DNS-серверы и управление зоной" - "Изменить" - "Свой список DNS-серверов"



Добавляем еще 2 поля и вводим в каждый запись DNS

ns1.beget.com
ns2.beget.com
ns1.beget.pro
ns2.beget.pro

Теперь необходимо немного подождать, но мы пока что можем на хостинге заняться директорией сайта.


Для этого, уже на хостинге добавляем домен в разделе "Домены и поддомены".
Прежде чем нажать кнопку "добавить домены" - проследите что чуть выше установлено значение "Создать новый сайт для каждого домена"



После добавления переходим в раздел "Сайты"
там уже будет создана директория сайта



Немного правее, нажав на иконку шестеренки, удостоверьтесь в том, что установлена новая версия протокола, редирект на https и версия PHP не ниже 7.4



Вторая часть: как установить файлы сайта на хостинг.


Переходим в папку сайта, загружаем архив с сайтом, и распаковываем его.

Получаем папку с файлами, архив уже можно удалить/
Также удаляем папку public_html.



Проваливаемся в распакованную папку на 3 уровня, и перемещаем 2 папки public_html и vmfiles
в директорию с нашим сайтом. После этого папку zodiac можно удалить



Прежде чем продолжить настройку нам необходимо создать и загрузить Базу данных.
для этого переходим в раздел "MySQL"
добавляем имя базы данных и генерируем надежный пароль (его также можно продублировать в комментарий для удобства)

Сохраняем и переходим в управление БД, нажав на иконку PMA. Выбираем "Импорт" - выбираем наш архив с Базой Данных - и нажимаем "Вперед" Через 1-2 минуты наша БД подгрузится. Возвращаемся в директорию с нашим сайтом.
И переходим в файл конфигурации. Кликаем на него несколько раз.

В нем нужно изменить всего 5 полей.
Имя пользователя и имя базы, пароль.



И пути к временным файлам и логам.
Тут необходимо указать первую букву вашего логина и логин.
После него указать наименование директории (в общем все как на примере)



На этом настройка заканчивается.

После вы уже можете открыть сайт
(если он еще не работает, а домен на reg.ru - подождите немного).

Вы можете приступить к дальнейшей настройке сайта, зайдя в панель админа (добавив к сайту /administrator/) и введя логин и пароль.

Как поставить метрику, гугл аналитикс, вебмастер на Joomla 3?

Яндекс метрика, Гугл аналитикс.

Код Метрики и Гугл аналитикс можно добавить через панель админа.

"Расширения" - "Шаблоны" - "Стили"

Нажимаем на действующий шаблон (справа) Это наш главный файл (он один, не раздроблен как на вордпресс)

В нем прописываются мета-теги дополнительные, метрики, скрипты)
В нем можно удалить или добавить позицию для вывода того или иного модуля.
В общем все одном месте.

В самом внизу заменяем код метрики и гугла (его может не быть, я не пользуюсь уже.)
Перед закрывающим тегом body



Нажимаем "Сохранить и закрыть"

Вебмастер Яндекс и Google

Если вы решили добавить сайт самостоятельно в вебмастер Яндекс и Google.
То следуйте простым инструкциям от поставщика услуг.

Файлы подтверждающие вебмастер необходимо заменить в папке /public_html



Как отключить редактор на сайте Joomla 3?

Работая с сайтом - редактирование материалов и модулей происходит в одном из готовых и уже установленных редакторов.

Иногда (при вставке кода например) нам необходимо на время выключить редактор.
Если этого не сделать, при сохранении материала, наш редактор может обрубить часть кода (это сделано в целях безопасности сайта)

Для того чтобы выключить редактор, необходимо зайти в раздел:
Система - Общие настройки - Сайт - Редактор по умолчанию - Без редактора



Как очистить кеш на сайте Joomla 3?

Удалить кеш сайта очень просто, для этого необходимо перейти в раздел:
Система - Очистить весь кэш - Удалить всё



Чтобы быстро очистить кеш сайта со стороны фронтенда - можно воспользоваться клавишами CTRL + F5

Смена email сайта Joomla 3

Сменить email на сайте необходимо в нескольких местах: Основной email сайта Для этого нужно перейти: "Система" - "Общие настройки" -"Сервер" Email для администратора комментариев Jcomments. Для этого нужно перейти: "Компоненты" - "Jcomments" -"Настройки" - "Общие"

Комментарии на сайте Joomla 3

На сайте установлен самый популярный и неприхотливый компонент jcomments.
Для обзора возможностей нужно зайти: "Компоненты" - "jcomments"

1. В самих комментариях можно редактировать текст, дату публикации, автора, E-mail автора. Его можно отключить, удалить. 2. В настройках компонента можно указать категории сайта для показа формы комментариев, установить ограничения модерации, изменить E-mail модератора. Также изменить вид выводимых комментариев, указать ограничения и права для разных групп пользователей. 3. Остиальные настройки касаются подписок, банов, уведомлений. 4.Активировав в общих настройках быструю модерацию - на почту модератора при каждом новом комментарии на сайте будет приходить уведомление с возможностью Заблокировать пользователя по IP и удалить сам комментарий.

Настройка уведомлений Cookie на сайте Joomla 3

По умолчанию уведомления Cookie для посетителей отключены. Чтобы настроить и включить их достаточно перейти в плагин CookieHint.

Сам плагин настроен и протестирован. Вам необходимо его только включить.

Также в настройках плагина вы можете:

1. Выбрать позицию блока с уведомлением (Снизу ,сверху или во всплывающем окне)
2. Указать срок действия в днях
3. Разрешить отказ от файлов cookie
4. Включить или выключить блокировщик файлов cookie
5. Указать способ показа уведомления о файлах cookie (через X дней или при каждом новом сеансе)

Плагин автоматической переклиновки Joomla 3

Настройка бесплатного плагина автоматической переклиновки seoLinks производится через "Менеджер плагинов"

Плагин seoLinks не проставляет ссылки внутри тэгов:

• <!--seoLinks skip--><!--/seoLinks skip-->
• <!-- -->
• <style></style>
• <script></script>
• <h1></h1>
• <h2></h2>
• <h3></h3>
• <h4></h4>
• <h5></h5>
• <h6></h6>
• <a></a>

Как вставить видео в статью на сайт Joomla 3?

Для этого можно использовать тег уже установленного на сайт плагина AllVideos.

С его помощью можно вставить видео и аудио в разных форматах и со многих сайтов. (более 30 вариантов)

Чтобы на сайт вставить видео с сайта youtube.com
Достаточно в статье прописать тег со ссылкой на само видео (удобнее будет вставить через вкладку "Код" см. скрин ниже)

Пример тега: {youtube}https://www.youtube.com/watch?v=DNbeImzba6w{/youtube}




Исходный вариант



Пример вставки тега



Конечный вариант

Как заменить форму обратной связи на сайте Joomla 3?

На сайте используется простая форма с сайта https://forms.yandex.ru, которую очень просто создать и заменить на сайте.

Для этого необходимо:

1. Выключить редактор на сайте
2. В модуле заменить код уже созданной формы
3. Очистить кеш сайта

Если вы еще не ознакомились с инструкцией по редактору, то посмотрите вкладку выше "Как отключить редактор на сайте Joomla 3?"

Выключив редактор, необходимо перейти в раздел Расширения - Модули.
И найти модуль (тип HTML-код) под названием "Форма" или что-то похожее.
В данном примере я воспользовался формой поиска, чтобы найти модуль.



Открыв модуль нужно заменить код ниже на свой.



Следующий этап необязательный, но не стоит им пренебрегать.
Отключить кеш вы можете по инструкции на вкладке выше "Как очистить кеш на сайте Joomla 3?"

Ошибки. Изменения

Ошибка: 0 Call to undefined method Joomla CMS Router Route::link() на Joomla 3

Возникает при установки более современной версии плагинов или компонента.
Помогает деинсталляция и установка более старой версии последнего установленного плагина.

Увеличение объема БД phpMyAdmin. Таблица _finder_terms на Joomla 3

Увеличение объема БД за счет таблицы: _finder_terms (условия поиска)
Необходимо в админ. панели сайта очистить историю.
"Компоненты" - "Умный поиск" - "Очистка"

Ошибки в консоли у сайта Joomla 3

Has been blocked by CORS policy

Одной из распространенных ошибок на сайте является блокировка множественных запросов.

Access to font at '/fonts/gilroy/Gilroy-Medium.woff' from origin 'http://site.ru' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.
Failed to load resource: net::ERR_FAILED Решение проблемы:


Удаление всех товаров Virtuemart 3 Joomla

Шаг 1

Максимальное количество товара в списке Virtuemart 3 - 400 шт.
Для удаления каталога не получится сразу все отметить.
Максимально допустимое количество - 1000 шт.
Можно вывести путем добавления параметра в url
/administrator/index.php?option=com_virtuemart&view=product&limit=1000

Шаг 2

Также необходимо очистить 3 таблицы в PHPMA jmTw_virtuemart_products_ru_ru
jmTw_virtuemart_products
jmTw_virtuemart_medias

Важно! Обязательно перепроверить таблицу до очистки (при удалении всех товаров - она должна быть пустой)

Нумерация ответов может меняться, в зависимости от частоты обновления и добавления инструкций.

Инструкции общие

Инструкция по оплате хостинга beget.com

Видео

Инструкция со скринами

Зачастую, beget.com - представляет собой единое место для размещения сайта (хостинг) и покупки, размещения домена.
В итоге получается, что все необходимые платежи по сайту - в одном личном кабинете и с одним балансом.



1. Переход в личный кабинет https://cp.beget.com/main
в раздел "Баланс"



2. Выбор способа оплаты (обычно это банковская карта)
Чтобы появилась возможность оплачивать как юр. лицо - нужно подать заявку через поддержку хостинга.



3. Изначально указывается сумма с расчетом на год. (без учета проlления доменов , если такие имеются и зарегистрированы через бегет)
В поле №1 - можно выбрать "Произвольная сумма", и в поле №2 - указать ее.



4. Перейти к заполнению данных карты, и оплатить. Баланс пополняется практически сразу.

Как сменить администратора домена на Beget со стороны покупателя?

По правилам сайта биржи telderi.ru покупатель должен предотавить все паспортные данные продавцу, чтобы он заполнил и отправил заявление!

Если нет возможности предоставить паспортные данные, вы можете сами оформить заявление со своего аккаунта на смену админа домена.



1. Я передаю домен на ваш аккаунт в бегете, а вы его принимаете в разделе "Домены и поддомены"


2. В этом разделе есть подраздел "Администраторы". В нем напротив нового домена нажмите иконку "человечка"
после чего, переключите красную кнопку "Изменить администратора домена"
и внимательно замените прежние данные владельца на свои, указав в начале списка напротив пункта "Персона:" - "Новая персона"




3. Подтвердив данные, на новой странице вы можете создать автоматически обращение в поддержку.
Нужно нажать ссылку "Создать тикет для безбумажного переоформления"




3.1. отправив обращение в бегет, вам также нужно будет еще добавить к обращению:

"Прошу переоформить домен. Владелец домена Елизаров Николай имеет нотариально заверенное заявление на безбумажную передачу доменов с бегет. Заявление №1726.



4. После чего, поддержка бегет в течение 1-2 часов (будни) направит прежнему владельцу СМС с кодом, который он передаст вам и вы отправите в этом же тикете.
После смс уже вам на email (указанный в данных, выше) придет письмо с просьбой подтвердить смену админа на ваши данные.
После чего, в течение 10-20 минут уже в вашем аккаунте бегета, в разделе "Администраторы" будут ваши данные.


Как принять домен на Beget.com с другого аккаунта?

Перейдите в раздел "Домены и поддомены"
и в новом окне уведомлении нажмите "Принять"

Как направить домен с reg.ru на beget.com

Если домен куплен на reg.ru, а сайт у нас на beget.com - то вам необходимо на сайте reg.ru в настройках домена прописать отдельно 4 поля DNS от хостинга Beget.
Кликнув на интересующий домен - переходим "Управление" - "DNS-серверы и управление зоной" - "Изменить" - "Свой список DNS-серверов"



Добавляем еще 2 поля и вводим в каждый запись DNS

ns1.beget.com
ns2.beget.com
ns1.beget.pro
ns2.beget.pro

Теперь необходимо немного подождать, а в это время пока что можно загружать Базу данных сайта и заливать архив в соответствующую директорию будущего сайта.

Нумерация ответов может меняться, в зависимости от частоты обновления и добавления инструкций.

Telderi.ru

Как происходит сделка на Telderi.ru

1. Покупатель указывает свою ставку.
2. Продавец подтверждает ставку.
3. Покупатель через телдери вносит оплату.
4. Покупатель указывает данные для полного переоформления домена (список данных после оплаты укажет Телдери). Просьба ничего не пропустить.
5. Продавец формирует заявления на смену администратора домена и отправляет в бегет. (есть нотариальное заявление с Бегет на безбумажную передачу доменов). Продавец ждет от Бегет СМС. После смс уже покупателю приходит на email письмо со ссылкой.
Перейдя по этой ссылке окончательно (в теч. 10-15 мин) происходит замена данных.
6. Пока что бегет производит смену админа - продавец передает сам домен в бегет покупателя. Его нужно принять в разделе "Домены и поддомены".
7. Также продавец через плагин Duplicator или отдельно файлами+база данных формирует архив и загружает на облако. Также логин и пароль.
8. Покупатель принимает домен в бегет, создает сайт, вносит все настрйоки, устанавливает и проверяет его. (У меня есть все подробные инструкции со скринами, все подробно расписано).
9. После смены админа и проверки сайта покупатель на Телдери подтверждает и может оставить отзыв о сделке через чат (появляется после подтверждения форма или звездочки в чате.)


Если планируется использовать другой хостинг:

Все мои домены регистрируются на Бегет. У меня нотариальное заявление с Бегет. Поэтому можно использовать следующую схему:

Покупателю все равно необходимо регистрироваться на бегет https://beget.com/?id=676856 , но при регистрации можно указать тариф "Парковка доменов" (или после регистрации написать с просьбой смены на этот тариф в поддержку.)

Продавец передает домен в бегет. Покупатель принимает его и СРАЗУ желательно указать DNS сервера к этому домену новые.

Через некоторое время добавить уже домен на свой другой хостинг и развернуть уже сайт у себя.

При желании и домен перенести на новый хостинг в рамках уже регистратора - то покупатель (уже после нашей сделки) может запросить Код-переноса у бегет для домена и перенести домен на свой хостинг. Для этого ему не нужно никаких нотариальных заявлений, так как данные администратора уже будут изменены на его (от себя к себе получается, меняется только регистратор). После чего можно не использовать уже бегет.

Указать паспортные данные для переоформления домена на Telderi.ru

Как на Telderi.ru указать паспортные данные для переоформления и передачи домена:

Покупатель может перейти на форму с заполнением данных двумя способами:
1. По ссылке из раздела уведомлений
2. Из раздела "Покупателю" > "Текущие покупки" > "Укажите данные для передачи" .

Какие данные необходимы для полного переоформления домена у регистратора Beget

Для передачи домена по аукциону "" покупателю внутри регистратора beget.com, вам необходимо:

1. Запросить у покупателя данные:

- ФИО полностью
- паспортные данные (серия, номер, кем выдан, дата выдачи)
- дата рождения
- страна, область, город, почтовый индекс, улица, дом, квартира
- e-mail
- телефон
- логин аккаунта в beget.com.

Изменение данных администратора домена .store

Для изменения данных администратора домена .store необходимо:

1. код, отправленный на почту администратора домена;
2. данные нового владельца (ФИО, адрес с индексом, гражданство);
3. адрес электронной почты нового владельца;
4. номер телефона нового владельца;
5. логин аккаунта в beget.com.

Подтверждения сделки на Telderi.ru

Для подтверждения сделки покупателю необходимо
Перейти по ссылке "Необходимо проверить и подтвердить получение ..."".
Она расположена в верхнем оранжевом поле. На открывшейся странице нажать кнопку "Сайт получен"

Нумерация ответов может меняться, в зависимости от частоты обновления и добавления инструкций.

Livesurf.ru

Что такое мотивированный трафик?

Мотивированный трафик - это обмен или покупка трафика на сайт, максимально приближенного к естественному с имитацией захода из поисковых систем по подготовленным заранее ключевым словам сайта или соц сетей, настройкой времени на сайте, уникальности, времени на сайте и региональности.

Для трафика протестировано много различных сервисом, но используются следующие:



• - https://livesurf.ru/promo/392165
• - Программа для бесплатного обмена трафика IPTS

• 

  #51912
  • Программа Traffic Spirit для накрутки трафика на свой сайт
  • Расширения Программа Traffic Spirit
  • Цена: 500 ₽

Краткая настройка мотивированного трафика на livesurf.ru

Небольшое и простое видео ,в котором показана настройка мотивированного трафика на livesurf.ru


Под видео я подробнее со скринами расписываю настройки.

В целом ничего, сложного:

1) регистрируемся на livesurf.ru
2) Подтверждаем почту и для расширения аккаунта (если нужно) через подписку на группу телеграмм.
3) Советую более детально изучить данный сервис, подключив бесплатные программы для обмена трафика и прикупив VIP-аккаунт можно очень хорошо раскрутить 20 сайтов.
После регистрации Добавляем новый проект.

В настройках группы:
1) название группы
2) ссылка (на каждом моем сайте есть функция, позволяющая открывать любую рандомную запись сайта. (Этот лайфхак позволяет использовать всего 1 ссылку - минимальный тариф)
ссылка выглядит след. образом - меняйте на свой домен: https://sait.ru/index.php?random=1
3) лимит расхода - это приблизительное! кол-во посещений
4) Автоматическое изменение суточного лимита: - погрешность кол-ва
5) В источниках я обычно использую поисковый трафик + немного соц. сетей
P.S. Единственное я не указал на видео это распределение поискового трафика. У меня оно обычно выглядит примерно так:
6) Переходы без источников и Трафик с низкими ПФ - я не использую. Тестировал - ничего хорошего.

7) Время выставляется очень просто - у меня безлимитно (ночью трафик сам по себе немного просадка)
8) Уникальность ставлю ниже 24 часов. (чтобы кол-во визитов не было равно кол-ву посещений в метрике - такого не бывает в природе)
9) Устройства: Как показала практика - мобильный трафик хорошо откручивался в тизерных сетях. Но меня там уже знают везде, поэтому использую ПК трафик для других целей.
10) Геотаргетинг - только Россия
11) Активность посетителя: - очень интересный инструмент. Мне кажется только этот сервис кликает по элементам как нужно. В последнее время не использую. но можно указать ID или class блока с баннером по которому будет клик.
С этим аккуратно нужно. В РСЯ сайтах такое категорически нужно отключать.
Список ключей к вашему сайту вы можете запросить у меня.

Нумерация ответов может меняться, в зависимости от частоты обновления и добавления инструкций.

Парсинг сайтов. Datacol / Импорт/Экспорт в VirtueMart. Excel/CSV

Полезные формулы для Excel

Для загрузки контента часто используется файл Excel.

Некоторые формулы для работы и подготовки файла.

---

Подсчет количества символов в ячейке
=ДЛСТР(D53)

Убрать перенос строки в ячейках Excel
=ПОДСТАВИТЬ(ПОДСТАВИТЬ(A2;СИМВОЛ(13);"");СИМВОЛ(10);"")

=ПРАВСИМВ([@Column1];5) - справа символы

=СЧЁТ(ПОИСК({"а":"б":"в":"г":"д":"е":"ё":"ж":"з":"и":"й":"к":"л":"м":"н":"о":"п":"р":"с":"т":"у":"ф":"х":"ц":"ч":"ш":"щ":"ъ":"ы":"ь":"э":"ю":"я"};A1))>0

Первая буква - заглавная
=ЗАМЕНИТЬ(A2;1;1;ПРОПИСН(ЛЕВСИМВ(A2;1)))

---



Краткий обзор парсинга сайта через Datacol

Инструкция №2 парсинга DAtacol и экспорта в Wordpress - скачать от 07.06.2023





На самом деле за много лет работы с Datacol у меня накопилось более десятка различных уловок. В этой статье я максимально кратко расписываю принцип работы парсера.

Создаем новую кампанию.



При проверке сайта на сбор советую немного выждать 10-15 секунд. Сайт не всегда сразу загружается.

Сайт открылся. Подобрали Xpath ссылок.

См. пункт"Лайф-хак: "Универсальный селектор" при сборе ссылок на сайте"

Не забываем про пагинацию

См. пункт "Интересная пагинация при сборе ссылок через Datacol"

Совет: Очень важно понимать что Datacol парсит не все сайты. Однако, иногда он не парсит сайты через стандартный загрузчик.
Поэтому если у вас получилось собрать ссылки, прописать к полям, но он не собирает. Попробуйте переключить загрузчик - "браузер".



Добавляем какие поля нам нужно парсить



Основные поля для настройки:



1. Сам выбор и переход к настройке полей.

2. Переход на сайт, чтобы задать путь к полю

3. Можно настроить сохранять теги (все, любые теги в пределах выбранного вами пути)

4. Можно указать Допустимые теги, чем я и пользуюсь (зачем мне собирать например ссылки, скрипты и прочее)

См. пункт "Правила парсинга сайтов" - там есть список используемых мною тегов."

5. Статистическое поле нужно указывать, когда по пути поля нужно через запятую собрать все значения. (использую когда нужно собрать путь категории (крошки) или список меток к статье - потом использую как свои метки)

6. Случайно наткнулся на "стандартные замены". Очень сильно подрезает всякий мусор. Также экспериментирую с заменой некоторых классов на свои, чтобы скрыть то, что не нужно.

7. Тоже сравнительно недавно придал значение этому полю. Когда замучался парсить кусками из-за проблем с ограничением количества символов в эксель. Уникальная вещь. Обязательно используйте.

См. пункт "Ошибка экспорта данных в Excel: Cells can only hold 32,767 characters"

На данный момент я поступаю так:
Я создал 2 шаблона (для парсинга через стандартный загрузчик и через браузер) с отключенным парсингом ссылок.
Отдельными кампаниями собираю ссылки. Тестирую одну на сбор. Если ошибку выдает - уже знаю через какую кампанию их парсить.

Вторым этапом - уже обработка в эксель. Там тоже не мало особенностей, формул и лайф-хаков.

Возможно будет запись видео когда-нибудь.

Правила парсинга сайтов Datacol

• Если у нас https - парсим только https
• Поля: Название, фото превью, текст, категория, дата, теги, комментарии (их количество), цена.
• Теги для поля "текст":
• Варианты обращения к id и class
  //div[@id='customs']
  //div[@class='customs']
• В поле "текст" не забываем добавлять "Замена" - "Стандартный набор"

Ошибка экспорта данных в Excel: Cells can only hold 32,767 characters в Datacol

Часто встречается при парсинге контента "Ошибка экспорта данных в Excel: Cells can only hold 32,767 characters"
Ячейки могут содержать только 32 767 символов.

Официальный сайт нам дает решение путем обрезки ячейки. И то, в своей версии Datacol, обрезки по символам я не нашел.



Мне такой вариант не подходит, так как обрезка сулит проблемы с незакрытыми тегами.
И чисто случайно, методом "тыка" для себя я нашел решение в соседней вкладке.
"Условия" - "Числовые условия" - "Символы > Максимум 32700"

Такая настройка просто не заполняет поле текста в столбце, пропускает его.
После фильтра по столбцу текста в экселе - я просто удаляю строки с пустым значением в ячейке "текст".



P.S. Также не забываем при парсинге поле "Замена" - Стандартный набор"
См. вкладку "Правила парсинга сайтов"

Лайф-хак: "Универсальный селектор" при сборе ссылок на сайте Datacol

Лайф-хак: Если у вас есть какой-нибудь блок div,h,article,td (любой впринципе), и вам необходимы все ссылки из него.

Вы можете миновать весь путь к тегу <a, добавив после блока два слеша.

Это получается что-то типо универсального селектора * в css.

Пример,

можно задать конкретный путь
//div[@class='main__column_index-l-content']/article[@class='news-feed__article']/div/div/h2/a

а можно через "универсальный селектор"
//div[@class='main__column_index-l-content']//a

Интересная пагинация при сборе ссылок через Datacol

Совет 1:
Смотрите внимательно на пагинацию, иногда она на сайте так устроена, что Datacol возьмет только показанные страницы 1,2,3,4.. т.е. не возьмет как путь ссылку "на следующую". В итоге может получиться что вы спарсите всего несколько страниц со ссылками. А не весь раздел до последней.

Совет 2:
Иногда пагинация оформлена черз скрипт, тогда вручную можно открыть весь список, через консоль скопировать код на уровень выше (весь блок) и например через html страничку (я использую тестовый домен от хостинга). Уже спарсить свой сайт на сссылки (возможно придется через эксель заменить свой домен на исходный).

Общие рекомендации и частые ошибки Импорт/Экспорта Joomla 3

Если необходимо внести изменения массово в карточки товара (например: изменить цены, текст, фото, добавить метку).
То следует учитывать несколько особенностей экспорта.

1. Перед загрузкой нужно очистить столбец "Статус"

2. Иногда (из-за большого количества строк или объема самого файла) загрузка на сайт происходит файла, но без внесения изменений.
Одна из подсказок (что файл загрузился, но не внес изменения) - это в списке измененных товаров на странице импорта
нам показывает не наименования, а ID.
То есть, если вы загрузили файл и видите в результате вот такое: то я советую делить его на несколько файлов (по 1500-2000 строк).

Вот пример удачного импорта товаров:

Архивные материалы

404 ошибка Joomla 3 отдельной страницей
воскресенье, 29 мая 2016 г.
Источник: https://web.archive.org/web/20180117121454/http://icekompot.blogspot.com/2016/05/404-joomla-oshibka.html


Последний пост (сообщение) на сегодня будет информативным. И многим пользователям Joomla, которые озабочены нормальной оптимизацией, поможет!
Именно 404 ответ сервера влияет прямо на ваши позиции!

Мало будет оформить 404 ошибку красиво (заточить под стиль сайта).

Тут важно чтобы сама страница отдавала 404 код.
Проверить можно с помощью сервиса mainspy.ru/otvet_servera

Как я оформляю свои страницы ошибок?
Все мои сайты практически на Joomla 3.
Неделю назад я понял, что ее надо обновлять, отдав 2к за час работы программиста.

1. Копирую основной шаблон.
2. Редактирую error
3. Переадресация в htacces
4. Отдельный материал
5. мета-тег в тело index

По порядку:
1. Скопировать шаблон можно в менеджере шаблонов вашего сайта. Это необходимо для того, чтобы можно было разместить в файле index мета-тег.
Копируем:

2. Скопировав шаблон, создаем страницу, и в дополнительном (скрытом меню) страницу ошибки. (Запоминаем алиас) У меня он error404.php. Указываем наш шаблон.
3. Создаем и прикручиваем к нему материал. В нем пишем и размещаем все, что вам угодно.
Важно! Составляем его без редактора с добавлением кода (либо подключаем модуль с php- кодом:)

<?php
 header( "HTTP/1.1 404 Not Found" );
exit;
?>

4. теперь самое интересное.
в Htacces прописываем редирект.

ErrorDocument 404 /error404.html
 5. В файле Error.php нашего шаблона прописываем:

<?php
if  ($this->_error->get('code') == '404') {
header("HTTP/1.0 404 Not Found");
header('Location: /error404.html');
exit;
}
?>

6. Далее в файле Index.php этого же шаблона, между тегами обязательно прописываем:

Все работает!

Моя страница ошибок выглядит следующим образом:
При том, что я сохранил все позиции, css, стиль, работоспособность модулей, и вернул 404 ответ сервера.

Конфликт jQuery - noConflict не помогает.( Joomla 3)
среда, 22 марта 2017 г.
https://web.archive.org/web/20170924045223/http://icekompot.blogspot.com/2017/03/jquery-noconflict-joomla-3.html


Решение с подключением jQuery.noConflict

Устанавливая скрипт выезжающей панели накнулся на очередной вопрос с подключением JQuery.

Ссылка на скрипт: http://siteis.ru/jquery-v-primerakh/taby-paneli-vkladki/bokovaya-panel-jquery

Решение:
Заменил

$(document).ready(function(){
на
jQuery(document).ready(function($) {

http://ru.stackoverflow.com/questions/525148/%D0%92-joomla-3-....



Пример полного кода:






В этом блоке, рассположеном слева может содержаться любой контент.


В этом блоке, рассположеном слева может содержаться любой контент. В этом блоке, рассположеном слева может содержаться любой контент.


В этом блоке, рассположеном слева может содержаться любой контент.














jQuery(document).ready(function($){
/*left panel*/
$("div.left_panel p.open").toggle(function(){
$("div.left_panel").animate({left:'260px'},500);}, function() {
$("div.left_panel").animate({left:0},500);
});

});




Как скрыть email от спам-роботов в Joomla
четверг, 11 июня 2015 г.
https://web.archive.org/web/20170421224052/http://icekompot.blogspot.com/2015/06/email-joomla.html


Сталкивался с такой проблемой, когда в Joomla мой email формировался как ссылка, а не как текст, независимо от того как я его помещал в материал.

Не стоит в ручную стараться как-то это изменить. За это отвечает крохотный плагин "Скрытие электронной почты".

Путь: Расширения - Менеджер плагинов - "Контент - Скрытие электронной почты"
Переводим в состояние "включено"

Не отправляется файл в форме chronoforms 5
среда, 1 июня 2016 г.
https://web.archive.org/web/20170911114622/http://icekompot.blogspot.com/2016/06/chronoforms5.html


Техническое сообщение по настройке полей для отправки любого файла из формы компонента chronoforms5 (хроноформс) на Joomla 3.

После добавления стандартных элементов формы (имя, телефон, кнопка) необходимо прикрепить поле добавления файла.

Для этого переносим в дизайнер форм поле "File Field" и предварительно настраиваем его.

1. в поле нам понадобится только "Field Name" и "Field ID".
У меня часто они выглядят следующим образом:
Field Name - file5
Field ID - file5

Валидацию ставить на поле я считаю глупо.

P.S.Если у вас стоит стандартная, упрощенная настройка мода, то настройки модуля будут выводиться в одном виде, если в структурном то немного не обычно.
Посмотреть это можно во вкладке General - Setup Mode.

У меня стоят обе. По сути разницы нет.
Пример упрощенной:
Пример структурной:
2. Нам нужно настроить в письме для администратора вывод поля.
для этого идем "Setup - Email - Email template" и выставляем ID поля.
У меня имеет вид:







	{text1}
	{text2}
	{text6}
	{file5}
По стандарту указываем получателя, отправителя, имя отправителя, тему.

Тут же в самом низу в поле "Attachment files" указываем id, у меня file5.

3. И последний шаг, настройка отправки файла.
"Setup - Uploads"

а)Enabled - Yes
б)Files config - пишем ID и список допустимых форматов.
у меня:

file5:jpg-png-gif-pdf-zip-rar-doc-docx-xls-xlsx,upload_file2:jpg-png-gif-pdf-zip-rar-doc-docx-xls-xlsx


в)Max file size - 10000000000

Остальное уже не так важно.
В принципе вот основные шаги, у многих ошибка с полем Attachment files или не правильным указанием ID в настройках.
Бесплатный импорт/экспорт в Joomla 3 Virtuemart 3
понедельник, 26 декабря 2016 г.
https://web.archive.org/web/20170909142318/http://icekompot.blogspot.com/2016/12/joomla-3-virtuenart-3-csvi-export.html


Спустя 3 года после публикации статей по csvi, кролики на github и прочих агрегаторах внесли блог в черный список (без понятия что это за черный и суровый список). И этот внесут ))
Ни на какие гитхабы, кодеры и прочее я не претендую и не планировал. Мои рекомендации я никому не навязываю.

Больше всего мне интересно откуда они берут столько времени...
Начну с того, что данный способ экспорта импорта я для себя открыл еще месяц назад, когда шаманил над одним из проектов своих заказчиков.

Задача стояла загрузить около 5000 товаров, а версия joomla третья.

Около 500-600 я забил вручную, я думаю кто знаком с виртуемартом - понимает чего это стоило.

Покопался, и на просторах рунета я нашел все необходимое для бесплатного экспорта на сайт товаров. Именно VM3 и J3.

В данный момент я ковыряю собственный строительный портал, где будут размещаться товары и услуги, под продажу лидов))))


Небольшой технический алгоритм:
1. Скачиваем само расширение CSVI 5/6.5.4 Pro с сайта единственного кто сей скрипт выложил.
Ссылка: (На этот раз удалю, прошло много врмени, да и версии можно найти поновее)
Скачиваем: CSVI 6.5.4 Pro (прямая ссылка) + патч — актуальность 16.05.2016
ссылка (На этот раз удалю, прошло много врмени, да и версии можно найти поновее)

В архиве нам нужно только: (первое сам компонент - второе уже плагин для вм)
com_csvi_6.5.4_pro.zip
plg_csviaddon_virtuemart_csvi_6.5.4.zip

Бежим на сайт и устанавливаем.

После установки в компоненте в settings
1.Domain name *  - наш домен
2. Use Full ICEcat - да
3. Язык - русский

2. Скачиваем OpenOffice  - без никого никак, кст. очень толковый софт. Заливаем в формате CSV.

3. Ничего сложного на самом деле нет!
Нужно сделать шаблоны полей
Сделать сам шаблон (экспорта или импорта)

Запустить процесс.

Идем в Templates, и создаем шаблон. Я его назвал ImpSaid
Action - import
Component - Virtuemart
Operation - product (там много фишек, но мы разговор ведем о товарах.
Далее...
load from компутер
Далее...
Explanation без изменений
Далее...
ок.

Мы создали шаблон. Теперь нужно создать импортируемые поля.
Для этого идем в Template fields для того чтобы создать эти поля.

Выбираем наш шаблон - жмакаем "создать"
делаем поля, только выбор и сохранить.

Важно! При настройке полей мы можем не встретить некоторых наиболее важных полей (например, product_name)
Проблема решается обновлением. (сам копал минут 30)
Идем в "Available fields" - в сортировке выбираем ВМ- produkt- goю
Сверху слева "Update".)))))

1. product_sku - Артикул продукта (он уникален, если перезалить и не исправить id то товар заменится!)
2. category_path - Имя категории товара
3. manufacturer_name - Название производителя
4. product_name- Название товара
5. product_price - Цена товара
6. product_s_desc - Краткое описание товара (можно с html тегами)
7. product_desc - Подробное описание товара
8. file_url - Имя файла изображения


Полный список (гугл в помощь)
basepricewithtax
calc kind
category id
category name
category path
combine
created by
created on
custom
customtitle
custom delete
custom disabler
custom multiple
custom ordering
custom override
custom param
custom price
custom shipping
custom title
custom value
discountamount
discountedpricewithouttax
features
file description
file meta
file ordering
file title
file url
file url thumb
hits
intnotes
layout
locked by
locked on
low stock notification
manufacturer id
manufacturer name
max order level
metaauthor
metadesc
metakey
metarobot
min order level
modified by
modified on
multi variant fields
multi variant title
override
picture url
picture url thumb
pordering
pricebeforetax
pricewithouttax
price with tax
product availability
product available date
product box
product currency
product delete
product desc
product discount
product discount_date_end
product discount_date_start
product discount id
product gtin
product height
product in stock
product length
product lwh uom
product mpn
product name
product ordered
product ordering
product override price
product packaging
product params
product parent id
product parent sku
product price
product sales
product sku
product special
product s desc
product tax
product tax id
product unit
product url
product weight
product weight uom
product width
published
related categories
related products
salesprice
shopper group name
shopper group name new
shopper group name price
skip
slug
step order level
taxamount
vendor name
virtuemart product id
virtuemart vendor id

Открываем через Openoffice в кодировке utf-8 Юникод наш шаблон.
Вот пример моего файла CSV . пример

Возможно проблемка! при импорте может ругаться типо загляните в Source.
Решается это очисткой кеша сайта.

Важно! Как правило я не экспортирую путь к категории, просто списком товары, а потом в админ панели Вм уже массово их распределяю, это надежнее.
Я делаю так - импортирую список товаров, апотом сортирую в админке по ID. - выделяю - массовая взаимосвязь категорий))

Тут (Available fields) есть все все поля которые можно экспортировать, я сильно не вникал!

Фишки компонента: Псевдоним карточки товара автоматически на латин, оч круто.

Бинго. Всего доброго!




Хорошая новость! Просто отличная!
Три часа работы в эксель с синонимами, сбором товаров и некоторых его характеристик - я собрал небольшой скрипт автоматического написания уникального текста для карточек товаров. Об этом не сегодня)
вот несколько скринов:

Структурка:

на выходе):

С уважением, Холодный компот



Советы. Рекомендации

Extreme Picture Finder - для массового скачивания изображений по Url (pro)

Общие рекомендации

Нужно учитывать, что в ней нет возможности скачивать изображения по URL с кириллицей. Такие ссылки она пропустит.

Я предлагаю заменять такие url на стоковую картинку. Для этого в отдельном столбце, через формулу можно выделить и отфильтровать ячейки и заменить изображение.

Формула выделения ячеек с содежанием кириллических символов.

=СЧЁТ(ПОИСК({"а":"б":"в":"г":"д":"е":"ё":"ж":"з":"и":"й":"к":"л":"м":"н":"о":"п":"р":"с":"т":"у":"ф":"х":"ц":"ч":"ш":"щ":"ъ":"ы":"ь":"э":"ю":"я"};A1))>0



2. Если несколько источников (списков), то лучше их размещать по разным папкам. Так как, второй список с неуникальными названиями фото заменит прежние.

Массовая генерация ключей recaptcha v2 для joomla

Формируя ключи recaptcha v2 для joomla, не обязательно для каждого домена делать отдельный проект.
Если доменов много, то их можно загрузить списком.
Однако учитывайте, что в одном проекте есть ограничение на количество доменов - 50 шт. (Гугл вам это скажет когда внесете весь список - поэтому экономьте время и доверяйте опыту других грабель).

Партнерские ссылки (rel="noopener noreferrer nofollow")

• https://www.telderi.ru/ru/search/all?pid=642a9a&user_id=270716
• https://kwork.ru/user/elizarov_n906?ref=7621716
• https://beget.com/p676856/hosting/virtual
• https://livesurf.ru/promo/392165

Полезные ссылки

• Подбор доменов с показателями (expireddomains.net)
• sitemap с url без ограничений
• Checker DA, CF, TF
• ответ 404
• Массовая проверка ИКС
• Массовая проверка ИКС
• Роскомнадзор проверить домен
• megaindex ссылки на домен проверить
• web.archive.org
• virustotal

Расширения и плагины