Поиск информации или как работают поисковые машины. 1.Ищем в Google. По запросу: Теория поиска информации и Теория поиска информации+pdf Найдете много интересного. 2. Обзор поисковых машин - мировых лидеров и особенности позиционирования в них российских сайтов. Информация старая, но полезная. http://www.promo-techart.ru/analysis/searches.htm Патенты Google. 1.Google patent list. Английский. http://www.arnoldit.com/lists/google-patents.asp 2. Патент Google: Определение спам-документов, основанное на фразах. По русски. http://www.master-x.com/articles/category/1/page/30/ 3. Особенности поведения выдачи Google в зависимости от тематики запросов. http://www.master-x.com/articles/article/394/ Яндекс. Много интересного об обнаружении спама. Например. 1. Сравнение эффективности двух методик снятия лексической и морфологической неоднозначности для русского языка (скрытая модель Маркова и синтаксический анализатор именных групп). 2. Интерактивное разрешение лексической и синтаксической неоднозначности в системах автоматической обработки естественного языка. http://company.yandex.ru/academic/grant/list.xml Еще интересное про яндекс. Например. 1. Оптимизация алгоритмов ранжирования методами машинного обучения. 2. Использование категоризации текстов ссылок и анализа графов для идентификации платных ссылок. 3. Сравнительный анализ методов определения нечетких дубликатов для документов. http://company.yandex.ru/public/articles/ Ну вот еще про яндекс. 1. Интернет-математика. Конкурс по машинному обучению. Помните про нейронные сети я писал выше вот это оно и есть. 2. Бесплатный трафик с главной страницы Яндекса. Как получить больше? 3. Продвижение сайтов в белорусском интернете. 4. Хороший поиск с точки зрения веб-мастеров. 5. Оптимизация: белые начинают и выигрывают! Александр Садовский. (Что такое белый Web мастер с точки зрения яндексойдов) 6. Жадные алгоритмы в задачах оптимизации качества ранжирования. 7. Вирус подмены страниц: изменение поведения веб-сервисов без ведома их создателей. И многое другое тут http://company.yandex.ru/public/conferences/ P.S Многие могут спросить а зачем я выложил столько математической и лингвистической тупни? Я отвечу, чтобы знали и улучшали свои знания о том как реально работают поисковые машины. А не из всяких эмпирических выводов разных SEO гуру. Да и разработчикам доргенов полезно думаю почитать. ИМХО нынешние доргены, по крайней мере из тех, что в паблике это уже прошлый век даешь, генераторы "белых сайтов". Все я пошел спать.
Серфил инет наткнулся на Поисковые технологии 2010 самое интересное "Виды поискового спама" - Михаил Волович (Ашманов и Партнеры) презентация 27 мб в формате PowerPoint скачать тут http://www.ashmanov.com/arc/searchconf2010/13volovich-searchconf2010.ppt
В процессе изучения документов по определению поискового спама наткнулся на интересный сервис: определения поискового спама http://www.seomoz.org/user_files/spam-detection можно проверять свои доры на качество.
В процессе изучения наткнулся на интересный доклад, где качал не помню по этому приведу его полностью. Расшифровка аудиозаписи круглого стола «Проблемы Рунета: добыча трафика, контент, индексация, ссылочное ранжирование, русский адалт» Ведущие круглого стола: Avelon (Sape.ru), Exelenz (smsaccess.ru), beroot (Rupoisk) Avelon: По ссылкам проблемы такие, что однозначно не понятно, работает ссылка или нет с одного и того же сайта. Так это или нет, давайте обсудим, то есть наложение всевозможных фильтров, надо ли определять, как определять и миф или реальность нипод (?) -фильтр. Осталась проблема ещё по адалту. Exelenz: по адалту проблем как таковых нет, рынок развивается динамически. Надо понимать, в какую сторону он двигается. Рынок платного контента буквально за последние пол года приобрёл очертания, похожие на западные. Но ещё не совсем. Надо выяснить, двигается ли это всё в сторону легального контента, реального заработка, либо будут, как сейчас есть партнёрки, которые используют краденный контент нелегальные методы раскрутки. Нам надо выяснять, легитимно ли с ними работать, зарабатывать так деньги, или нет. Неразборчиво произнесён ник, звучит неразборчивый вопрос Exelenz: в России, да? Есть экспертиза, все эту экспертизу делают, сто долларов стоит. Тем более, если документы есть… Anonim1: то есть, эти сайты, которые сейчас за смски продают контент – это, в принципе, легитимно? Если ты, действительно, купил авторский контент, то он в соответствии с законом Российской Федерации работает? Beroot: как происходит легализация контента? Адалт – это адалт, а как его превращать в эротику? Exelenz: заказывается экспертиза, она стоит сто долларов и её даже не обязательно размещать на сайтах, как делают с многими релизами. Просто она есть, и в случае таких проблем предъявляется и проблема исчезает. То есть, был прецедент, и это помогло. Допустим, известный человек, Пряничников, он только в Рунете и снимает, и продаёт, и у него никаких проблем нет с этим. Avelon: а весь контент может пройти эту операцию? Нет, только если есть релиз, подписи моделей, которые снимались, документы у них должны быть, что им больше 18 лет. Avelon: хорошо, подписи есть, всё есть, а сам формат этого видео какой-то совсем…может, извращения или ещё что-то. Exelenz: это более тонкий вопрос Avelon: то есть, по идее, если есть все эти подписи, все эти релизы, то практически любой адалт-контент можно легально продавать? Exelenz: чтобы на этом месте не топтаться, можно сказать так, если есть намерение работать честно, то можно работать честно. Для этого нужно сделать некоторые шаги, они не очень сложные, и всё будет нормально. Avelon: давайте поговорим про трафик адалтный. Как он cобирается, конвертится, какие идут повышения конверсий. Ну, в общем, лучше меня, наверное, кто-нибудь расскажет, наверное, ВОиН. ВОиН: (очень не разборчиво, см. статью ВОиН по добыче адалтного Ру-трафика: ) В начале немного про то откуда берётся этот самый траф. Я бы выделил следующие способы генерации трафика: 1. Развлекательные ресурсы общей направленности - самый яркий пример сайт фишки.нет и сотни его "клонов". 2. Фото и видео архивы с порнухой - чаще всего размещают нелегальный ворованный контент с буржуйских платников, но есть и исключения с настоящими любительским контентом. 3. Баннерные сети - как это не удивительно всё ещё живы, хотя как я думаю скоро совсем умрут, судя по статистике - количество откручиваемых показов постоянно падает. 4. Трафико-генерирующие ресурсы - топы и CJ. ЛЛ, ТГП, фришники, топовые фришники - не получили распространения в рунете, хотя есть пара ресурсов которые можно вписать в эту категорию. 5. Блоги и социцальные сети - перспективная и ещё не сильно развитая тема в рунете. 6. Дорвеи - no comments . Теперь про то, как можно сконвертить адалт ру траф. 1. Магазины по продаже духов (феромонов), секс-игрушек, dvd и видео касет с порнухой. Часто всё это продаётся в одном магазине на одном сайте. Неплохо конвертится на тематическом СЕ-трафе, но не с доров, а именно продвижением магазина в яндексе/рамблере/гугле по тематическим запросам. Сумма выплат - % от заказа. 2. Проститутки - ещё пол года назад самый распространённый метод конвертации адалт трафа любой тематики. Стабильные спонсоры со стабильными выплатами. Взять того же Рафа, который платит всегда и всем (всем кто не читит smile.gif) кто бы что не говорил. Всё ещё на проституток сливается достаточно большое количество трафика, хотя мне это не понятно. Сумма выплат - 6-7 центов за второй клик. 3. Набравшие за последние пол года большую популярность партёрки продающие доступ к видео архивам с помощью СМС. Здесь можно выделить 2 гатегории партнёрок: работающие на лицензионном и ворованном контенте. К первым относятся первопроходцы этого рынка, как я считаю партнёрки на которые суммарно сливается не менее 60% всего объёма трафика данного типа adultcash и russiapays. Сумма выплат - от 1$ до 1,4$ за 1 смску (сумма выплат может быть увеличена в зависимости от объёмов сливаемого трафика). Примерно месяц назад закончилась волна ДДОС-атак на данный тип партёрок, продолжавашаяся около 2 месяцев. 4. Сайты типа п.3, но без партёрских программ, когда владелец генерирует трафик и сливает его на свой платник. Делается это с целью увеличения стоимости выплаты за 1 смску. На мой взгляд лучший вариант на данный момент при достаточно больших объёмах собственного трафика. 5. ruprofit.com - на данный момент единственная партёрка которая платит за установку софта, который позволяет серферу получить бесплатный доступ к порнухе. Выплаты - от 8 центов за 1 инсталл (сумма выплат может быть увеличена в зависимости от объёмов сливаемого трафика). 6. Сайты знакомств - как обычные мамба и loveplanet так и специализированные на секс-знакомствах. Достаточно неплохой конверт и хорош тем что приносит деньги даже после прекращения подлива трафика (естественно при наборе какого-то количества активных анкет). Exelenz: конкуренция на этом рынке уже большая, потому что объём трафика ограниченный в рунете, и адалтового в том числе, около 80% – это именно смс льёт. Avelon: давайте эту тему закроем. СЕ-трафик, что он из себя представляет, как конвертится и способы его добычи Exelenz: СЕ-трафик конвертится как обычый, в адалте его больше, чем во всех других источниках. Как правило, весь трафик имеет начало в Яндексе, то есть попадает человек либо сразу на платник, либо через сиджей проходит, но всё начинается с поисковых систем. По оценкам, трафика всего где-то 2,5-3 млн. хитов в день. Хитов - это не значит, что человек один человек несколько хитов может делать. С таким объёмом трафика. приходится работать. Такой объём трафика вся ниша обрабатывает. Beroot: то есть это трафик, который попадает на смски? Exelenz: из него 8% по оценкам сейчас попадает на смски. Эта ситуация изменилась за последние пол года. До этого где-то процентов 20 на смски попадало. Beroot: по поводу цтр. Как сильно сам контент, который располагается на смсках, влияет на цтр. Миф это или правда, что заезженный контент – цтр снижается, люди уходят, ничего не покупают. Exelenz: да, чем больше происходит увеличение количества предложений, тем большую роль играет контент. То есть, если человек уже такое видел, он не подпишется. Понятно, что свежие сайты выигрывают, поэтому, кто выводит больше свежих сайтов, тот и держит больше аудиторию, количество вебмастеров. Но и старые сайты играют на новых клиентов, аудитория увеличивается каждый день. Это всё вопрос конвертации и индексации трафика. Это всё решается индивидуально каждым вебмастером. Mustafa: одна тысяча уников сколько даёт денег в среднем? Exelenz: она может вообще ничего не дать. В среднем, по моим оцекам – это 20 долларов с одного – это усреднённый показатель. Можно сказать, усреднённый для СЕ-трафика. Beroot: по поводу СЕ-трафика. Насколько фильтры, которые работают для коммерческих тематик, работают на адалте? Exelenz: заспамленность адалтовых (неразборчиво) гораздо круче, чем заспамленность коммерческих. Beroot: то есть там точно также жёстко банят? Exelenz: я не знаю, как там банят, но количество искусственно оптимизированных сайтов и дорвеев…ну ситуация там не такая, как у коммерческих запросов. Racot: какие коммерческие запросы (дальше не слышно)? Beroot: не под фильтр, то есть фильтруются неестественные ссылки, которые поставлены искусственно через сапу, которые поставлены на мордах, также есть ссылки спамовые, то есть это массовый спам форумов в больших объёмах, массовый спам гостевых. То есть эти ссылки не учитывает Яндекс, пытается их зафильтровать. Racot: то есть схема работает абсолютно одинаково как на коммерческих так и на некоммерческих… Beroot: вот это я и пытался уточнить. Avelon: давайте пойдём дальше. Давайте остановимся на трафике в Рунете. Паша обозначил вопрос. Beroot: в Рунете мы имеем следующие проблемы. Первая проблема – жёстко банится редирект, то есть его фиксируют, его находят, и буквально за несколько минут такие страницы уходят. Как я думаю, это работает хитробот, то есть стоят какие-то машины, которые исполняют и понимают, что они делают. Проблема вторая – это проблема склейки контента. Раньше хорошо работал Марков. На Маркова взял несколько мегабайт текста какого-нибудь, отделил по нему и всё – Яндекс считает это уникальным контентом, он с ним работает, он его показывает. Последние два месяца он Маркова видит, банит, и эти домены уходят, остаётся всё меньше и меньше страниц на них. Как это работает? Сложно понять, но есть предположение, что работает старый метод зифа, когда механизм определяет цифровую подпись документа, и если дальше по этому контенту что-то генерировать, он видит ключевые слова и удаляет такие страницы из выдачи. Есть предположение, что зиф фидно через оператор в Яндексе – лайк. То есть, если ввести «like», какую-то страницу, то будет внизу сохранённая копия и гетовый запрос, в котором будут ключевые слова. Это и есть цифровая подпись данной страницы, как мы считаем. kevindark: в таком случае большой объём отсканированного текста, неизвестный Яндексу и потом переработан по Маркову, он Яндексом не будет оформлен? Mustafa: эта же формула зифа, она, помимо определения дублей, ещё определяет, естественный текст или нет. Есть специальные языковые константы, они практически для всех языков одинаковы и отличаются на десятые доли. Beroot: то есть, естественно, если ты возьмёшь оригинальный текст, его прогенерируешь по Маркову, то его не забанят – он не увидит, что это текст не оригинальный. Mustafa: забанится нечеловечный контент. Anonym2: кто обладает информацией вообще о вычислительной мощности Яндекса на сегодняшний день? Сколько дата-центр содержит серверов и так далее? Хотя бы какие-то косвенные данные. Мustafa: серверов порядка тысячи. Avelon: они утверждают, что ни дня без нового сервера, по серверу в день ставят. Beroot: они, как я слышал, строили новый дата-центр и поставили в него новые сервера. Я думаю, что они свой штат постоянно расширяют и, как сказал уже Avelon, они ставят 2-3 сервера в день. Anonym3: вопрос по поводу того, как, например, дорвей с нечеловеческим контентом, со всеми признаками дорвея попадает в Яндекс, а потом банится? Это механизированные процессы? Beroot: если это один дорвей, явный массовый метод – ты изменяешь цдр на серпе, ты изменяешь базу контента. Anonym4: вопрос в другом состоит. Дорвей статический. Сначала не было выдачи в Яндексе, потом попал, потом его банят. С чем связано, что он вообще попадает и только потом его банят. Вопрос очень конкретный, почему Яндекс сначала одни и те же параметры идентифицирует как нормальный сайт, а потом всегда идентифицирует их дорвеи. В чём вообще…? Mustafa: значит, ему изначально не хватает параметров. В Яндексе же происходит анализ серпа, ты заглядывал в html серпа Яндкса? Там возле каждой позиции стоит онклик, и они анализируют, что и сказал Паша, что они замеряют ctr по любому человеку с твоего дора. И наверняка они вывели какую-то зависимость для дорвеев, и на основе этой статистики уже банят. Beroot: могу дополнить, что у них есть большой штат асессеров, которые смотрят выдачи руками по тем запросам, по которым растёт ctr. То есть, они анализируют, смотрят, что нужно забанить, налаживают свой механизм, либо закладывают новые данные этого механизма. Mustafa: то есть считается, что когда люди не возвращаются со странички, тогда это дорвей. И ещё один момент по поводу асессора. Суть в том, что статистика, о которой мы говорим, достаточно на больших цифрах и всегда пропадает во время апа. То есть между апами ничего не пропадает, потому что бан, он такое, что нет страничек и бан бывает такой, что Яндекс не показывает страницы. Таких ситуаций, когда в КЭШе остаётся домен, его уже Яндекс не знает, между up-ами не происходит, то есть это чёткий бан на автомате, ну либо они все только во время апдейта смотрят. Beroot: ну как, вообще они чистят выдачу. Мы создали up для себя, посмотрели руками, что там произошло, если их всё устраивает – устраивает, если они нашли в этом up-е дорвеи – составляют какие-то данные, и по этим данным потом уже банится ваш механизм. Avelon: предлагаю немножко глупые вопросы оставить на кулуарное обсуждение, потому что я не вижу ничего интересного, например, в том, что вы тут обсуждали. Давайте мы всё-таки вернёмся к глобальному вопросу, как наv работать с дорвеями дальше, что будем предпринимать дальше, а что Яндекс будет предпринимать против нас и может ли он что-то предпринять. Или может быть стоит вообще от Яндекса отказаться и генерить под Google, под Rambler, почему нет? Beroot: а как ты сможешь отказаться от Яндекса, когда это основной источник трафика? Avelon: почему основной? 45% трафика, ну и что? Beroot: когда твой домен попадает в Google, с него идёт вот столько трафика (показывает руками мало), когда он попадпет в Yandex - с него идёт вот столько трафика (показывает руками много). Да, домены отбиваются на других поисковых системах, отбиваются труды, которые ты вложил, но основной доход идёт именно с Yandex-a. Avelon: так может быть плюнуть на Yandex, сделать в 10 раз больше дорвеев – всё равно получишь те же самые свои деньги. Beroot: многие так работают, многие к этому пришли. То есть многие используют старые механизмы под Google, под Rambler. Rambler ест, даёт трафик, люди на том же уровне. Avelon: сколько Rambler в выдаче держит дорвеев? Beroot: на последних изменениях, недели три назад он побанил очень много. Видимо, они провели ручную чистку. Многие говорят, что это какая-то смена алгоритма, но на моём примере: зашёл в Ramler, ввёл сложный огромный запрос четырёхсложный, и он мне в первых же результатах дал то, что я искал. В принципе, выдача в Rambler-e стала адекватная, но надолго ли это – непонятно, потому что и раньше он это всё убивал, но делают – всё это возвращается. Kevindark: есть ли какие-то истории, когда сайт выводился как белый, а потом поменялся на дорвей? Anonym5: на нашем опыте домены из бана не выходят практически никогда. Даже если они выходят, то потом на них то ли фильтр, то ли ещё что-то – больше одной двух страниц никогда Yandex не находит. Бывали такие случаи, когда домен где-то через месяц после выхода в топ вдруг пропадал на 3-4 недели и потом возвращался обратно. Мы называем этот фильтр «опять глюки». Beroot: на истории Rupoisk-a был случай один такой, когда человек завёл свой топ, сделал сайтов и начал за помещение сайта в топ…вебмастер должен разместить его кнопку, кнопка на энджиэсе. Ну многие, наверное, читали СЕ и видели этот топик. Когда размещают счётчик, человек приходит с поисковой системы, ему начинают показывать с Rupoisk-а. И было так побанено очень много сайтов. Понятно, что винили все нас, потому что мы выплачивали деньги вебмастерам. На эту ситуацию повлиять я не смог. Просто нам СЕ писал, смотрите, что размещаете, мы здесь не при чём. Ну а сайты попали в бан и потом писали, что их разбанили. По поводу бана и разбана дорвеев. Тоже был опыт – дорвеи с белым контентом он выводит из бана, где-то 30% массовой рассылки. Avelon: как ты думаешь, Yandex видит, что здесь стоит фид и определяет ли его? Beroot: я думаю, что он это может видеть и он это видит, но никаких действий не предпринимает. Mustafa: есть обратный опыт: после установки Begun-a сайт уходит в бан, домен уходит в бан через пару часов. Beroot: я такого не наблюдал. У меня есть сайты, на которых стоит xml поиска и сайт забанивался, потом разбанивался. То есть, у них сейчас основная политика – лучше мы перебаним, чем недобаним. Если ты случайно попал под какой-то фильтр, тебя забанят, потом тебя, возможно, разбанят, но нет такого, что ты установил Begun и тебя забанили. Avelon: а мы чётко это наблюдали в своих сайтах. Beroot: это был один сайт? Avelon: это было порядка десяти сайтов. Они десять дней прожили без установки кода, трафик с них был, всё нормально. Код устанавливается – всё, через два часа бан. Beroot: а вы повторяли этот эксперемент на других? Avelon: пока ещё нет Beroot: я думаю, что стоит повторить, и не думаю, что вы с таким же успехом, такой же цифрой… Avelon: ну это было просто забавно. Я сделал просто такой вывод, что это просто или совпадение такое дикое, либо хитробот читает, может быть, какие-то параметры у него есть уровня заспамленности сайта, установка кода бегуна добивает окончательно, и он автоматом банится. Beroot: есть другой пример, когда забанены были сайты с уникальным дизайном, с уникальным контентом. Единственное, что эти сайты объединяло – они были сделаны на одном движке, и там внизу подвал немножко одинаковый. И по этому признаку их забанили на автомате, Платон мне ответил, что развивайте ваш сайт, добавляйте в него уникальный контент и у вас будет всё нормально. Но добавлялка Yandex пишет, что ваш сайт запрещён к индексации, потому что вы нарушили лицензию. Topper: эти сайты были на одинаковых ip? Beroot: да, NS у них были одинаковые, но ip у них были разные. На этих NS-ах висят также белые сайты, которые работают, их не забанили. Avelon: ну и последний вопрос в этой тематике, который волнует. Сколько времени нужно оставлять на отстой дорвеев, если это не дорвеи в общем понимании, а если это какой-то серенький сайт? Стоит ли его оcтавлять месяца 2-3 висеть без контекста? Beroot: практика показывает, что старые дорвеи, которые были забанены когда-то, больше не трогают. Они проверяют только добавленные сайты, поэтому я думаю, что есть смысл домены держать в отстойнике пару месяцев в индексах, а дальше на них уже размещать что-либо. Avelon: с готовым контентом они должны стоять в отстойнике или там пара страниц? Beroot: пара страниц, и главное, чтобы он их не поклеил, то есть на них должен быть уникальный контент. Avelon: давайте в свете контента и всего прочего поговорим ещё про фильтр. Кто из него выходил, кто сталкивался, какие мнения? Лично нам пока не удалось из него выйти, хотя мы особо мер не предпринимали. Единственная мера, которую я предпринимал – закрывал от индексации все страницы, кроме главной. Beroot: можешь рассказать о фильтре «ты последний»? Avelon: фильтр «ты последний» - это комбинация нескольких фильтров. Естественно, никто не знает, что это за фильтры. Есть предположение, что это фильтр, который отслеживает уникальность контента, второй фильтр – это спамность контента, то есть, перебор с ключевиками, перебор с тайтлами и так далее, третий – это, возможно, но не факт – это мусорные бэклинки, ну и четвёртый вариант – это просто степень развития сайта. В основном, фильтру подвержены молодые сайты, а Яндекс каким-то образом своими алгоритмами пытается определить, нужен ли молодой сайт обществу или нет, положить мне его в песочницу или не положить. Последствия такие, что по поисковым запросам сайт находится в самом конце. Есть слухи, что из этого фильтра выходили. Уровень профессионализма этих людей у меня вызывает сомнения. Beroot: фильтр накладывается на весь домен или на какие-то страницы? Avelon: на весь домен, да. Трафика в Yandex-e ноль, но он в индексе. И ссылки с него тоже не работают. Anonym6: вот мне интересно, что там со снимаками(?)? Avelon: я за снимаками(?) не наблюдал, не знаю. Часто попадают сайты на одинаковых движках, причём, контент на них может быть очень даже неплохим, но если используется какой-то движок и несколько сайтов с подобным движком уже есть на этом сервере, то у них все шансы уйти. Самое интересное было…мы в марте сделали 120 сайтов под наши нужды, маленькие, буквально по шесть страниц, но для людей, чтобы люди звонили и заказывали. Естественно, начали звонить и заказывать. Потом штук 70 ушли под 2ты последний», часть осталась, тоже по непонятным причинам. Самое интересное, что у нас возникли проблемы с одним сайтом, и где-то в апреле или в марте мы сняли весь контент и оставили только текст сайта в разработке, но ссылки на него ещё стояли. Он до сих пор по этому запросу, низкочастотный запрос, который делался до сих пор висит в пятёрке, там только текст «сайт в разработке». То есть он не ушёл и не поклеился. Могу даже сейчас показать этот запрос. Kevindark: как может вообще движок служить поводом для каких-либо фильтров? Так половина Рунета должна просто уйти под фильтр. Или имеется в виду учёт каких-то неизвестных движков с определённой структурой, которые под конкретный проект разрабатываются? Avelon: движок – это всего лишь один из факторов. Если у тебя белый сайт на wordpress-e, на DL-е, он такой уникальный, то ничего не будет. А если у тебя сетка построена на движке wordpress, то наложатся дополнительные факторы, что это сетка, что это блоговый контент какой-то непонятный. Kevindark: как увидеть сетку, если они разнесены все, никак не связаны, не перелинкованы. Если они как-то перелинкованы, как-то связаны, то, наверное, это служит фактором, а не движок. Avelon: достаточно каким-то образом косвенно определить, что у них один владелец. Roxana: но ведь часть побанилась, часть нет. Это зависит не от владельца тогда. Avelon: да, непонятно, почему. Возможно, время регистрации доменов. То есть если домены регистрировать двумя пачками, 10 и 20 февраля, вот одна пачка целиком ушла, а вторая не ушла. Логика не понятна, но, тем не менее, факт есть факт. Kevindark: насколько считается актуальным разнесение по разным серверам, IP и так далее? Я принципиально просто в эти сказки никогда не верил, ни по Google, ни по Yandex, у меня все сайты висят на моей фамилии, у меня везде whois одинаковый практически. Никогда у меня не было такого, чтобы банилось пачками, всё время вылетают сайты по одному и у Google, и у Yandex и так далее. То есть, есть ли всё-таки доказательство тому, что IP, DNS, whois имеют какое-то значение? Avelon: не утверждаю на 100%, но многочисленные показания свидетелей говорят о том, что бан по whois есть, бан по IP есть…и, даже на своём примере, мы же сделали 120 белых сайтов, просто они нам нужны для бизнеса под каждый низкочастотный запрос. На них интересная информация, приходил человек и получал её. Естественно, мы их тоже повесили на один сервер, на одну и ту же компанию они зарегистрированы, но, тем не менее, они были забанены. Beroot: я дополню немножко Avelon-a. Да, я тоже считаю, что бан по IP и whois есть. Это следует из того, что, если ты, например, будешь на одних NS и на одном IP клепать дорвеи, то рано или поздно ты придёшь к тому, что к тебе даже индексатор туда не придёт. Это проверено на практике. Kevindark: согласен. IP – да, это понятно. А вот whois. Может ли быть такое, что человек дорвейщик и под этим whois любой его домен, будь он трижды белым, будет забанен. У меня были и дорвеи тоже на одном whois, но они как-то не влияют… Beroot: зависит от количества. Если ты будешь делать, допустим, ситуация была с зоной com.ru , i.ru и так далее – все домены стали плохо индексироваться, хотя там были белые сайты. На них сделали очень много дорвеев, на них жёстко наложили какие-то фильтры. Сама база, если посмотреть, индекс количества сайтов в этой зоне, которую знает Yandex, оно всегда ограничено. Одни вылетают, другие появляются. Но как они утверждают, никакого бана по зоне у них нет. Anonym7: а как, в связи с возможным банном по whois, Yandex может относиться к такой фишке как закрытие данных о домене, private person? Я сейчас у нескольких регистраторов встречал, в ru. Private person написано и что? Beroot: ну не все довольны таким сервисом, не многие пользуются. Anonym7: ну то есть, грубо говоря, по private person фильтр не раскладывается так, что где-то под private person наделали дорвеев, а потом… Mustafa: дело в том, что ещё не у каждого регистратора берут домен. Того же Руцентра для дорвеев не покупают домены. Почему? – Потому что стоит 20 долларов домен. Когда можно пойти к какому-нибудь регистратору и скупить пачками по 6 -7 -8 долларов. Yandex, конечно же, тоже знает это всё. И регистраторы здесь тоже играют свою роль. Если ты в Руцентре сделал себе приват персон – пожалуйста Beroot: я узнавал у регистраторов, Yandex не запрашивал у них никогда информации…запрашивал, но давно, в данный момент он не запрашивает информации о доменах у владельцев. Anonym8: но с их серверов и хитробот не ходит, согласись. Beroot: возможно, но открыто они ничего не запрашивают. Anonym8: а когда открыто и хитробот не ходит из-под их сетей. Anonym18: клоакинг вообще мониторится Yandex-ом? Beroot: да, естественно, он мониторится Yandex-ом и достаточно эффективно. Anonym8: ну вот я хочу привести такой пример. У меня хороший товарищ занимается защитой от DOS-a, и в особенно злых случаях там ставится картинка на первой страничке. Алгоритм фильтрации такой, что ботам выдаётся картинка и смотрится, не настоящий ли это человек, а всех остальных пускает сразу же на контент. И по этой системе реализована такая фишка, что поисковикам всегда кормится страница с контентом, определённые сетки, которым всегда это выдаётся. И не было ни одного случая из нескольких десятков, когда эти ресурсы были бы забанены или были бы проблемы из-за такого подхода. Avelon: а за что тут банить? Anonym8: банить за то, что хитробот может придти и получить себе статус бота и получить картинку, а новной бот Яндекса может придти и получить контент. Клоакинг – это что такое? – несоответствие того, что кормится одному роботу и несоответствие того, что кушает второй робот, который проверяет на клоакинг. Avelon: тут просто всего лишь один аргумент – сравнение КЭШа и реального документа покажут, что никакого преступления не было. Кто-то встречался со случаями бана автоматом за клоакинг? Beroot: это серьёзная проблема, она решалась только Аяксом. На Аяксе проверяли, кто это такой, если свой, то его пускали на фид, если чужой, то отсылали на аккаунтскую страницу известных хостингов, и это прокатывало. Сейчас это, возможно, работает, но столкнулись опять же с проблемой Маркова. Anonym8: такой вопрос по поводу генерации текстов для дорвеев. Мы описывали здесь такие случаи, когда белый контент банился. Многие грешат на то, что текст, сгенерированный в Маркове или ещё как-то может стать причиной бана. Откуда уверенность в том, что Yandex достаточно сильно анализирует морфологию текста? Я, например, считаю, что Яндекс кушает всё, что угодно, что ему не сгенеришь. Просто я знаю очень много людей, которые занимаются дорвеями, все генерируют текст по-разному, и, разговаривая с ними, я понимаю, что они когда-то занимались этим вопросом, потом плюнули на него, и он у них остался в таком виде, в каком был, потому что поняли, что тратить на него время и силы просто нет никакого смысла. Откуда такая уверенность? Avelon: мы уже сегодня затрагивали этот вопрос. Mustafa на него уже отвечал. Есть простые методы, того же зифа, определения естественности языка. С помощью элементарных формул по языковым константам вычисляется кривая, получатся коэффициент, если он попадает в зону, значит этот текст написан человеком. Anonym8: другой вопрос. Зачем заморачиваться с текстами на дорвеях, когда есть отличная технология, когда тайтл и альт в картинке и отсутствие какого-то текста приводят к тому, что выдача с дорвея оказывается 20-30 тысяч страниц и все они висят по этим запросам. Avelon: по некоторым низкочастотным, может быть, да, какие-то тайтлы оставить можно. По более конкурентным низкочастотным этого может не хватить. Anonym8: например, каким? Avelon: я не знаю, каким. Нам осталось ещё обсудить ссылочное ранжирование. Есть ссылки, которые работают., есть, которые не работают. Кто и как с этим борется? Beroot: ещё такой вопрос. Хотел бы обсудить методы получения ссылочного…методы спама, спам форума. Какие, в данный момент, используются белыми мастерами? Avelon: я сегодня об этом рассказывал в докладе. Используются каталоги, в основном, новичками. Все сеошники, которых я знаю, от этого отказались уже. Они чисто терапевтическими методами регистрируются в каталогах. Обмен ссылками работает прекрасно. Единственное, можно получить бан за каталог ссылок на своём сайте. И опять же это всё нудно. Beroot: произошло хотя бы преобразование от обычного обмены ссылками до обмена статьями? Avelon: очень много меняется по старинке. У нас же разные сегменты общества. И можно спокойно меняться. Roxana: будут ли перекрёстно меняться? Avelon: меняются и напрямую, и перекрёстно, и звёздочками – как только не меняются. Линкаторы – практически вымершая тема, я уже не знаю самоубийц, которые в этом участвуют. Сайты с линкаторами откуда-то заползают, но очень быстро куда-то пропадают. Beroot: одно время было, что всё было заполнено линкаторами, сейчас этого не наблюдается. Avelon: сейчас этого не наблюдается, там всё очень просто: много ссылок с однотипных страниц, причём страниц сгенерённых. Одно дело, когда Яндекс знает эту страницу месяц, два, три, год, и на ней появляется ссылка – это хорошо, или чтобы она там была изначально. А когда генерируется новая страница со смешанной ссылкой – всё, это красная тряпка. Спам – очень модное занятие, которым даже я занимался в 2003. Сейчас не работаю. Что у нас ещё осталось? Морды. Я уже пол года живу без морд – нормально. Статьи – хорошая тема. Развивается, дай бог ребятам. Может, мы в сапе тоже свою статью придумаем. Beroot: как ты считаешь, что такое для Яндекса естественная ссылка? У меня два варианта: когда статья появляется и в этой статье уже есть ссылка на что-то или, когда статья или ресурс уже написана, потом на нём в дальнейшем бот находит ссылку? Avelon: у меня, честно говоря, нет чётких представлений по этому вопросу Beroot: ведёт ли Яндекс счёт таких вещей, то есть историю? Mustafa: историю ведёт однозначно, но ссылочная учитывается не сразу. Пересчитывается, в среднем, через up, через два. Beroot: то есть, всё-таки, какая ссылка будет сильнее, в первом варианте или во втором? Avelon: проводил эксперимент такого рода. На слабую страничку ставилась ссылка по низкочастотным запросам, которая позволяла подняться на седьмое место, скажем. Дальше, эта страница отдельно прокачивалась, на неё ставилось много ссылок, и вес этой ссылки не повышался. Вывод: у Яндекса не хватает мощностей пересчитывать эти веса очень часто. Как только он индексирует ссылку, он уже присваивает ей какой-то вес, и теперь этот вес не пересчитывается очень долго. Beroot: ну что, сегодня мы обсудили русский адалт, проблему индексации, ранжирования, бана. Итог нашего разговора – Яндекс не выкатывает каких-то абсолютно новых механизмов, он просто накручивает свои фильтры и будет работать, мне кажется, в этом направлении. Avelon: в целом, мы здесь обсудили все вопросы. Единственное – не пришли ни к каким конкретным решениям, никто не спалил никакую тему. В целом, динамика понятна. Возможно, если Яндекс будет себя также вести, мы будем принимать ответные меры. То что делает сейчас Яндекс, с точки зрения человека, делать нельзя. Beroot: также мы пришли к выводу, что можно работать под другие поисковые системы. Exelenz: по поводу адалта. Хочу призвать всех работать только легально. Сейчас появляются соблазны, но будущее за легальными, продуманными, хорошими схемами. В целом, ничего драматического не происходит. Я думаю, всё потихоньку приходит в цивилизованные рамки: сиджейный трафик, конечно, будет всегда, но качество его будет снижаться, адалт будет умирать, СЕ-шный трафик будет приобретать большую ценность в связи с увеличением конкуренции, качества предложений, увеличением объёма предложений.
Этого поста некогда бы не было если бы не переключился со мной один забавный случай. Все кто так или иначе вращается в сфере продвижения сайтов наверняка слыхали о таком "гуру BlackSEO" под ником Арбайтен. У этого мудака есть свой блог, где он делится "секретами SEO". Так вот наш великий Seo гуру, не так давно за пилил в свой блог следующий пос. Дабы не давать ссылку на его блог процитирую: Фанатам Гугла By admin | December 28, 2010 Этот пост для всех фанатов Гугла. Я недавно пост писал, где сравнивал алгоритмы Яндекса и Гугла. Ну и высказала мнение, что алгоритмы Яндекса лучше гугловских. В качестве факта привёл пример, того что в ЯНдексе нет доров, а в Гугле есть. По крайней мере в Яндексе производство доров не поставишь на поток. Так в ответ получил кучу однотипных высказывний – Гугл лучше, а Яндекс отстой Ёб. Вы вообще можете фактами оперировтаь или просто болтаете языком? Вас фанатом Гугла как послушаешь, так просто ужас – С пеной у рта и истерикой орёте, что Гугл лучше, а Яндекс отстой. По мне так просто ваше гавно банит Яндекс, а Гугл оставляте в выдаче. И из-за этого вы доказываете, что Гугл лучше. И то что Гугл мировой поисковик большинству в России и мне в том числе глубоко параллельно. Просто потмоу что меня не интересуют, что происходит в Бурже, я профи по Рунету. И если сравнивать очистку от гавна выдачи Яндекса и Гугла, то выдача Яндекса почище. Причём при равных условиях. Вот такие дела. Думайте головой, а не эмоциями. Так вот я ему попытался объяснить следующие: 1. У англоязычного Googla очень мощные алгоритмы и фильтры и Яндексу до них далеко. 2. Если бы Google за хотел покончить с дорвеями он бы мог это сделать, так как у Googlа, примерно 300 патентов на обнаружения поискового спама. 3. Почему Google не применяет эти фильтры, ответ очевиден, Google не хочет чтобы из выдачи вылетели нормальные и полу нормальные сайты, ведь Google AdSense является самой популярной PPC в буржуйнете, и тогда Goole перестанет получать профит, то-есть механизмы фильтров не 100% надежны. 4. Несмотря на то что говно копирайтеры и говно рерайтеры, работают за еду и клепают тексты и сейчас проще купить тексты и не боятся относительно бана Яндекса. В Яндексе дорвеи все же есть и дорвеи будут эволюционировать вместе с Яндексом. 5. У Яндекса нет никаких супер алгоритмов ранжирования и почти все идеи Яндекс пиздит у Гугла. 6. Яндекс накручивает свои фильтры якобы борясь за чистоту Рунета, но на самом деле, тут у Яндекса желание одно, захватить все бабло в руне к себе. 7. Выдача у Гугла более релевантная пусть и с дорвеями, чем у Яндекса. То есть Google ищет, что надо а не подсовывает своим пользователям всякую хуйту. 8. Арбайтен вообще не понимает в SEO, ну по крайней мере в BlackSEO. Естественно это мудак потер все мои комментарии. Я "расстроенный таким положением вещей", решил за пилить сайт, и стал собирать интересную информацию об Арбайтене. Сайт я так и не запил, вот информацию интересную о пациенте нашел. И так встречаем под ником Арбайтен скрывается некий субъект по фамилии Красноруцкий Дмитрий Александрович. Арбайтен утверждал что у некого месячный профит составляет 80.000 рублей, но при этом наш "гуру" готов работать за еду. Факт: http://spb.rabotavgorode.ru/resumes/Show.aspx?ResumeID=287838 Ну а теперь смеяться лежа, чтобы не упасть http://arbaitenkoschkoeb.narod.ru/ И даже любимый Арбайтейном Яндекс знает, что он кошкоеб http://southwc.ru/1/21/images/l_193478739-klz_guest_8.jpg' border='0' alt='user posted image'/>[/url] [b]Еще ресурсы по теме:[/b] [b]Арбайтен стукач[/b] [url]http://arbaitenstukach.narod.ru/[/url] [b]Капитан Арбайтен[/b] [url]http://arbik2010.narod.ru/[/url] [b]Арбайтен кошкоеб[/b] [url]http://arbaitenkoschkoeb.narod.ru/[/url] [b]Результаты работа софта Arbanoid[/b] [url]http://arbanoid2010.narod.ru/[/url] [b]Информация по Арбу[/b] [url]http://poarbu.narod.ru/[/url] [b]Арбайтен кидала[/b] [url]http://kidala-arbaiten.narod.ru/[/url] Во общем нет ничего тайного, чтобы тайно не стало явным B) А теперь признайтесь, чьих рук дело? P.S [b]VipRaskrutka [/b] не твоих ли ?
