Злопамятность kh.google.com / 2007-08
Правила форума
Для предотврашения спама первые сообщения вновь зарегистрированных пользователей проходят ручную премодерацию.
Для предотврашения спама первые сообщения вновь зарегистрированных пользователей проходят ручную премодерацию.
Я знаю, где лицензионное соглашение :)
Но это чисто умозрительные рассуждения, не подтвержденные какими-либо другими находками. Я сам думал примерно так же на основе одной лишь позиции гугла... и обсуждалось в сетях это не раз. Словом, тезис про "нелицензионность" снимков у самого гугла известен, но это лишь стартовая точка размышлений. Никаких более продвинутых материалов в сети встречать не доводилось. Хотя рассуждений на эту тему масса. Сам же Гугл явно шифрует свою позицию на этот счет и на письма разработчиков не отвечает. Если интересно, могу дать ссылки. насчет блокирования скачки также интересны любые сведения, но мое IMHO - временные трудности. Это было не раз, и опять все налаживалось. Почему - соображения выше. <A HREF="http://www.geofaq.ru">http://www.geofaq.ru</A>
|
||
Re: Я знаю, где лицензионное соглашение :)
Были цитаты из соглашения, мелькали в истории с написанием альтернативного GE программного клиента. Правда, даже в такой форме это все равно не "бумажка с печатью", так что написать можно что угодно.
Re: так...... (software)
Кажется, без этого можно будет обойтись.
Трудности возникли при скоростях загрузки 10.000 tiles / 6 часов, или при 30.000-40.000 tiles / сутки. Корневое сообщение в конференцию вызвано тем, что стал блокироваться старый тайминг и появились кратковременные предварительные баны, чувствительные к "геометрии".
Но, по моему старому опыту, поведение kh-сёрвера больше зависит именно от тайминга в чистом виде. kh реагирует на скорость: на умеренной с паузами можно читать неограниченные объёмы, на высокой быстро получить бан. Для множества мелких запросов легче не хранить их длительную историю, а посчитать какие-то агрегаты в достаточно небольшём скользящем окне и, возможно, каждый раз экстраполировать их на суточный (например) лимит пользователя. По моим ощущениям kh очень злопамятен даже на кратковременные возрастания производной.
Сейчас на временах в несколько часов работает тайминг (0.25-30-180)*(минимум 5 пачек по 100 tiles) + (переход на несмежную строку пачек). Наверное, найдётся и лучший вариант (последовательными приближениями и малой кровью).
Но геометрическая зависимость осталась. А также, похоже, иногда и "коллективная ответственность" для сетей класса С, причём даже при скачивании разных снимков (гранул).
Трудности возникли при скоростях загрузки 10.000 tiles / 6 часов, или при 30.000-40.000 tiles / сутки. Корневое сообщение в конференцию вызвано тем, что стал блокироваться старый тайминг и появились кратковременные предварительные баны, чувствительные к "геометрии".
Но, по моему старому опыту, поведение kh-сёрвера больше зависит именно от тайминга в чистом виде. kh реагирует на скорость: на умеренной с паузами можно читать неограниченные объёмы, на высокой быстро получить бан. Для множества мелких запросов легче не хранить их длительную историю, а посчитать какие-то агрегаты в достаточно небольшём скользящем окне и, возможно, каждый раз экстраполировать их на суточный (например) лимит пользователя. По моим ощущениям kh очень злопамятен даже на кратковременные возрастания производной.
Сейчас на временах в несколько часов работает тайминг (0.25-30-180)*(минимум 5 пачек по 100 tiles) + (переход на несмежную строку пачек). Наверное, найдётся и лучший вариант (последовательными приближениями и малой кровью).
Но геометрическая зависимость осталась. А также, похоже, иногда и "коллективная ответственность" для сетей класса С, причём даже при скачивании разных снимков (гранул).
Re: Злопамятность kh.google.com / 2007-08
В результате экспериментов было выяснено, что вся фича в куках.
На страницах maps.google.com есть JS код, который выставляет хитрую куку...
И затем если в запросах нет этой куки, то начинается бяка...
Алгоритм каким образом строится эта кука пока не вычислили. Но GME, который не блокируется уже проходит тестирование.
На страницах maps.google.com есть JS код, который выставляет хитрую куку...
И затем если в запросах нет этой куки, то начинается бяка...
Алгоритм каким образом строится эта кука пока не вычислили. Но GME, который не блокируется уже проходит тестирование.
хитрая кука...
<b>>></b> <i>Алгоритм каким образом строится эта кука пока не вычислили. Но GME, который не блокируется уже проходит тестирование.</i>
Эээ... Как это? Кука статическая? И откуда она берётся в GME? (GME - это GPS Map Edit?)
Эээ... Как это? Кука статическая? И откуда она берётся в GME? (GME - это GPS Map Edit?)
|
||
Re: хитрая кука...
> Эээ... Как это? Кука статическая?
Похоже на то.
> И откуда она берётся в GME? (GME - это GPS Map Edit?)
Дело в том, что GME использует IE для скачивания. Поэтому делается финт: заходим на maps.google.com - запоминается кука. Ну а потом все работает как часы.
Похоже на то.
> И откуда она берётся в GME? (GME - это GPS Map Edit?)
Дело в том, что GME использует IE для скачивания. Поэтому делается финт: заходим на maps.google.com - запоминается кука. Ну а потом все работает как часы.
Re: хитрая кука...
Если статическая, то ничего сложного нет в том, чтобы начать сессию browser'ом, получить куку, скопировать ее, а дальше отдавать ее чем угодно, тем же curl'ом в запросе.
Re: браузер+скрипт
Сейчас "в отместку" (на пробу :) выкачиваю скриптом со старыми быстрыми таймингами 10000 tiles, параллельно с формальной активностью в браузере. Пока бана нет.
В браузере сть khcookie (Expires: at end of session) - 38 знаков из (вероятно) ряда [0-9A-z]. (В MD5 - 32, SHA1 - 40, и буквы одного регистра.)
В браузере сть khcookie (Expires: at end of session) - 38 знаков из (вероятно) ряда [0-9A-z]. (В MD5 - 32, SHA1 - 40, и буквы одного регистра.)
Re: браузер+скрипт
Я же говорил - куки.. Иначе что такого умеет browser, чего не умеют простейшие скрипты (но умеют не простейшие)?
Re: браузер+скрипт
Еще бы вычислить алгоритм как построить эту куку...
Там наворочено JSа по самые уши...
Там наворочено JSа по самые уши...
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 130 гостей