Вопрос к SEO специалистам: "Что бы вы написали в ТЗ программисту для упрощения своей работы?"

Не суть как называются, вернее я назвал (главным образом по названию в хмл)

#кусок кода
if doc.name in ['passages', 'title', 'headline']:
                    hl = doc.find_all('hlword')

Данные, которые я привел не используются напрямую. А в составе алгоритма, который кроме этих биграмм использует подсветки, ключи из букварикса имеющих вхождение запроса, контента до 40 первых первых документов из топ 100 (обычно 20).  И т.д.

"top":[{"relevance":"","url":"https://www.ucoz.ru/","domain":"www.ucoz.ru","modtime":"20061111T030000","size":"827","charset":"utf-8","properties":"0ru","mime-type":"text/html"},{"relevance":"","url":"https://skillbox.ru/media/marketing/6_besplatnykh_konstruktorov_saytov/","domain":"skillbox.ru","modtime":"20200626T153303","size":"3487","charset":"utf-8","properties":"0ru","mime-type":"text/html"},{"relevance":"","url":"https://www.internet-technologies.ru/how-to-create-a-website.html","domain":"www.internet-technologies.ru","modtime":"20100402T040000","size":"7064","charset":"utf-8","properties":"0ru","mime-type":"text/html"}

Фактически, то что выше приведено используется для корректировки веса н-грамм задающих лси тематику из контента документов входящих в топ

Клиенты, Выдача, подсказки, конкуренты , вордстат , адвордс и вебмастера , Букварикс еще можно использовать - это источники 

а далее ручные комбинирования для вч вк, и генерация по маске Для больших им и многостраничн ков

Во фрагментах, попадающих в выдачу – все статистические закономерности извёрнуты / зависят от текущих настроек (не алгоритма ранжирования) и т.п. "слов, которые уже вошли в предыдущие добавленные"...

Лучше смотреть стату самих ранжируемых документов.

Уважаемые сео специалисты у вас очень много текста.., но по сути вопроса вы мне мало что ответили. Как говорится из пустого в порожнее.. Вы озвучиваете лишь что где-то что то сами увидели, услышали, прочитали и тд. и эта информация куда не плюнь везде(на разных других сайтах, как вы говорите с рерайтом). Я за эти дни время от времени искал ответы на свои вопросы через поиск. Всё печально на данный момент.

У нас(в мире) в принципе неправильно организован поиск нужной информации. То есть так стихийно получилось, что люди направлены на решение мелочных задач с целью получения своей выгоды, а не удобства и полезности ресурса. Поэтому поисковым машинам сложнов таком бардаке искать самую актуальную информацию. Я бы больше сказал НЕВОЗМОЖНО, потому что:

1. Время на обход всех сайтов поисковыми работами и занесение в базу поисковика очень долгое..
2. Сайты ранжируются по ссылочной массе с других ресурсов и посещаемости, что тоже не гарантирует актуальности материалов.
3. Вложение денег в раскрутку, дорогенегаторы и прочие не чистые технологии так же не позволяют актуальной информации быть в первых строчках выдачи.
4. Проанализировав код некоторых автоматических алгоритмов пришёл к выводу, что попытка создать искусственный интеллект в этой сфере потерпела поражение. Алгоритмы семантического и морфологического поиска желают лучшего, не правильно и примитивно по моему сделано. Как говорится захотели охватить не объятное и получилось как всегда.. Конечно поисковики справляются с более популярными вопросами, а когда ищутся узкоспециализированные материалы(к примеру:), то выдаётся какая то фигня.

Википедия?

Нет. Это должно быть сообщество сайтов на одной платформе.

Википедия в данном случае это просто база данных, как словарь, описания обозначения предмета.

Например: Есть:

Сайт каталог автомобилей с фото, описанием,характеристиками тд.

Сайт по ремонту, где описано что и как делать и ссылка на сайт страницу с описанием и характеристиками.

Сайт каталог салонов где продаются автомобили.

Так же к примеру есть сайт лекарств с описанием тех или иных лекарств.

Ещё сайт где описаны разные болезни и способы лечения с сылками на сайт лекарств.

Другие разные сайты...

Человек набирает в поиске: мерседес е200

Поисковик определяет направление поиска определив что нужно искать на сайтах автомобилей и выдаёт в результате:

Страницу с описанием каталога автомобилей, страницу сайта по ремонту данного автомобиля, Страницу автосалона где купить и тд.

Набрав в поиске: лечение от гриппа

Поисковик даёт запрос на медицинские сайты, те у себя в базе ищут нужное лекарство способ лечения и тд.

Выдают страницы с нужными препаратами и описанием как надо проводить лечение, аптеки где можно купить.

То есть сами сайты будут принимать роль поисковиков. Как-то так :)

😂

В итоге так оно и делается, просто поэтапно:

Корпус из сниппетов по запросу камаз (кроме этого отдельно собираются 'title', 'headline', 'hlword'):

('камаз_пао', 87)
('официальный_сайт', 33)
('пао_сайт', 31)
('дилер_официальный', 14)
('камаз_компания', 13)
('автомобиль_грузовой', 12)
('дилер_камаз', 12)
('камаз_мастер', 11)
('обслуживание_сервисный', 9)
('автомобильный_завод', 9)
('российский_федерация', 8)
('запасный_продажа', 8)
('kamaz_камаз', 8)
('информационный_материал', 8)
('комплаенс_контрагент', 8)
('интернет_магазин', 8)
('камаз_купить', 8)
('компания_официальный', 7)
('горячий_линия', 7)

Совместная обработка корпуса сниппетов:= Функция(корпус сниппетов, ключи букварикса, 'title', 'headline', 'hlword')

('камаз_пао', 371.0528)
('камаз_компания', 70.38719999999999)
('kamaz_камаз', 66.35519999999998)
('дилер_камаз', 64.97279999999999)
('камаз_мастер', 59.5584)
('дилер_официальный', 49.48159999999998)
('камаз_купить', 43.3152)
('автомобиль_грузовой', 42.41279999999998)
('двигатель_камаз', 32.486399999999996)
('грузовик_камаз', 32.486399999999996)
('обслуживание_сервисный', 31.80959999999999)
('автомобильный_завод', 31.80959999999999)
('камаз_самосвал', 27.072)
('камаз_тягач', 24.8288)
('5490_камаз', 24.8288)
('автоцентр_камаз', 14.399999999999999)
('камаз_лизинг', 11.64)
('6520_камаз', 11.64)
('автомобиль_спецтехник', 9.0687999999999995)
.....100500 еще....

Дальше gensim lsi по корпусу текстов документов из топа с корректировкой весов лемм задающих скрытые тематики на полученное выше. Но, и приведенного выше, часто достаточно для того, чтобы обвесить документ продвигаемый по запросу "камаз", материалами (статьи, новости, фото, видео, товары) релевантными 

'камаз_пао', 'камаз_компания', 'kamaz_камаз', 'дилер_камаз', 'камаз_мастер', 'дилер_официальный', 'камаз_купить',
'автомобиль_грузовой', 'двигатель_камаз', 'грузовик_камаз', 'обслуживание_сервисный', 'автомобильный_завод',
'камаз_самосвал', 'камаз_тягач', '5490_камаз', 'автоцентр_камаз', 'камаз_лизинг', '6520_камаз', 'автомобиль_спецтехник'

В итоге обвес достаточно тематичный, документ полнее раскрывает тему запроса. 

е200 мерседес
('benz_mercedes', 1055.8079999999993)
('mercedes_купить', 227.4048)
('бенц_мерседес', 178.6752)
('класс_мерседес', 157.0176)
('200_класс', 140.77439999999999)
('mercedes_фото', 129.94559999999998)
('mercedes_продажа', 124.5312)
('200_мерседес', 124.41599999999995)
('200_mercedes', 116.12159999999996)
('купить_мерседес', 102.8736)
('200_benz', 81.216)
('200_купить', 81.216)
('s212_w212', 77.75679999999998)
('benz_class', 74.22239999999998)
('мерседес_продажа', 70.38719999999999)
('невысокий_цена', 67.15359999999997)
('200_рестайлинга', 60.48000000000002)
('200_premium', 48.7296)
('mercedes_автомобиль', 43.3152)
('200_4matic', 43.3152)
('c207_s212', 39.48)
('автомобиль_пробег', 38.878399999999985)
('автомобиль_мерседес', 37.9008)
('mercedes_цена', 37.9008)
('iv_класс', 35.71999999999999)
('iv_w212', 35.71999999999999)
('200_c238', 32.486399999999996)
('пробег_продажа', 31.80959999999999)
('auto_продажа', 31.80959999999999)
('авто_купить', 31.80959999999999)
('авто_ру', 31.80959999999999)
('технический_характеристика', 28.27519999999999)
('w213_класс', 28.27519999999999)
('дилер_официальный', 28.27519999999999)
('200_пробег', 27.072)
('auto_mercedes', 27.072)
('s213_w213', 24.740799999999993)
('c238_s213', 24.740799999999993)
('4matic_sport', 24.740799999999993)

очередной дон кихот у нас ))

ТС вы совсем не понимаете как все устроено )) удачи вам в борьбе с мельницами