Злопамятность kh.google.com / 2007-08

[lalex]

Но это чисто умозрительные рассуждения, не подтвержденные какими-либо другими находками. Я сам думал примерно так же на основе одной лишь позиции гугла... и обсуждалось в сетях это не раз. Словом, тезис про "нелицензионность" снимков у самого гугла известен, но это лишь стартовая точка размышлений. Никаких более продвинутых материалов в сети встречать не доводилось. Хотя рассуждений на эту тему масса. Сам же Гугл явно шифрует свою позицию на этот счет и на письма разработчиков не отвечает. Если интересно, могу дать ссылки. насчет блокирования скачки также интересны любые сведения, но мое IMHO - временные трудности. Это было не раз, и опять все налаживалось. Почему - соображения выше. <A HREF="http://www.geofaq.ru">http://www.geofaq.ru</A>

[Bushman]

Были цитаты из соглашения, мелькали в истории с написанием альтернативного GE программного клиента. Правда, даже в такой форме это все равно не "бумажка с печатью", так что написать можно что угодно.

[A-5]

Кажется, без этого можно будет обойтись.

Трудности возникли при скоростях загрузки 10.000 tiles / 6 часов, или при 30.000-40.000 tiles / сутки. Корневое сообщение в конференцию вызвано тем, что стал блокироваться старый тайминг и появились кратковременные предварительные баны, чувствительные к "геометрии".
Но, по моему старому опыту, поведение kh-сёрвера больше зависит именно от тайминга в чистом виде. kh реагирует на скорость: на умеренной с паузами можно читать неограниченные объёмы, на высокой быстро получить бан. Для множества мелких запросов легче не хранить их длительную историю, а посчитать какие-то агрегаты в достаточно небольшём скользящем окне и, возможно, каждый раз экстраполировать их на суточный (например) лимит пользователя. По моим ощущениям kh очень злопамятен даже на кратковременные возрастания производной.

Сейчас на временах в несколько часов работает тайминг (0.25-30-180)*(минимум 5 пачек по 100 tiles) + (переход на несмежную строку пачек). Наверное, найдётся и лучший вариант (последовательными приближениями и малой кровью).

Но геометрическая зависимость осталась. А также, похоже, иногда и "коллективная ответственность" для сетей класса С, причём даже при скачивании разных снимков (гранул).

[dyp]

В результате экспериментов было выяснено, что вся фича в куках.
На страницах maps.google.com есть JS код, который выставляет хитрую куку...
И затем если в запросах нет этой куки, то начинается бяка...
Алгоритм каким образом строится эта кука пока не вычислили. Но GME, который не блокируется уже проходит тестирование.

[A-5]

<b>>></b> <i>Алгоритм каким образом строится эта кука пока не вычислили. Но GME, который не блокируется уже проходит тестирование.</i>

Эээ... Как это? Кука статическая? И откуда она берётся в GME? (GME - это GPS Map Edit?)

[dyp]

> Эээ... Как это? Кука статическая?
Похоже на то.

> И откуда она берётся в GME? (GME - это GPS Map Edit?)
Дело в том, что GME использует IE для скачивания. Поэтому делается финт: заходим на maps.google.com - запоминается кука. Ну а потом все работает как часы.

[Bushman]

Если статическая, то ничего сложного нет в том, чтобы начать сессию browser'ом, получить куку, скопировать ее, а дальше отдавать ее чем угодно, тем же curl'ом в запросе.

[A-5]

Сейчас "в отместку" (на пробу :) выкачиваю скриптом со старыми быстрыми таймингами 10000 tiles, параллельно с формальной активностью в браузере. Пока бана нет.
В браузере сть khcookie (Expires: at end of session) - 38 знаков из (вероятно) ряда [0-9A-z]. (В MD5 - 32, SHA1 - 40, и буквы одного регистра.)

[Bushman]

Я же говорил - куки.. Иначе что такого умеет browser, чего не умеют простейшие скрипты (но умеют не простейшие)?

[dyp]

Еще бы вычислить алгоритм как построить эту куку...
Там наворочено JSа по самые уши...