#osm-ru.2015-10-22.log

*** kisaa has quit IRC01:02
*** kisaa has joined #osm-ru01:04
*** ssv has joined #osm-ru03:25
*** Vladimir_r has joined #osm-ru03:54
*** Jim[work] has joined #osm-ru04:33
*** borism3461 has joined #osm-ru04:38
*** Vladimir_r has joined #osm-ru04:49
*** dkiselev has joined #osm-ru05:24
*** Komzzpa has quit IRC07:10
*** kisaa has quit IRC07:29
*** Komzzpa has joined #osm-ru07:39
*** Komzpa has joined #osm-ru07:45
*** Komzzpa has quit IRC07:47
*** freeExec has joined #osm-ru07:50
*** Komzzpa has joined #osm-ru07:53
*** Komzpa has quit IRC07:56
*** Maks|Di2 has quit IRC08:09
*** Maks|Di2 has joined #osm-ru08:09
*** kisaa has joined #osm-ru08:28
*** jekhor has joined #osm-ru09:02
*** AMDmi3 has joined #osm-ru09:03
*** old_Bibigon has joined #osm-ru09:11
Komzzpaandrewsh:  Alexander Island -> Земля Александра I, потому что Alexander I -> Александр I09:25
andrewshну хоть не Александр Я09:56
*** MaximD|w has joined #osm-ru11:03
*** Freem[w] has quit IRC11:21
*** Freem[w] has joined #osm-ru11:28
AMDmi3Maks|Di2: fyi там всего 13% так что ресильвериться будет больше недели12:02
AMDmi3его ещё базы насилуют12:02
AMDmi3совсем их потушить наверное нельзя, а что за процессы из юзают я не знаю12:03
Maks|Di2Ну я уже планету себе на домашний скачал, что самое срочное, попробую дома конвертить12:09
*** Scondo has joined #osm-ru12:16
*** Scondo has joined #osm-ru12:17
*** jekhor has quit IRC12:33
*** dkiselev has quit IRC13:02
*** kisaa has quit IRC13:09
*** jekhor has joined #osm-ru13:16
*** borism3461 has quit IRC13:29
AMDmi3я думаю сегодня на ночь потушить базы чтобы оно быстрее переехало13:57
*** jekhor_ has joined #osm-ru14:06
*** jekhor has quit IRC14:13
*** jekhor has joined #osm-ru14:15
*** jekhor_ has quit IRC14:22
*** jekhor has quit IRC14:56
*** Komzzpa has quit IRC15:00
*** XAN has joined #osm-ru15:29
*** XAN is now known as Guest622615:30
*** gryphon has joined #osm-ru15:43
*** freeExec has quit IRC15:43
*** Scondo has quit IRC15:59
*** MaximD|w has quit IRC16:02
*** MaximD|w has joined #osm-ru16:04
*** sh4 has joined #osm-ru16:11
Maks|Di2AMDmi3: я почистил крон свой, что бы все конвертации не запускались утром16:32
*** jekhor has joined #osm-ru16:32
AMDmi3ok16:34
*** _sev has quit IRC16:34
*** dkiselev has joined #osm-ru17:30
*** AMDmi3 has quit IRC17:38
sh4радио будет?19:07
*** sh4 has quit IRC19:12
*** Out`Of`Control has joined #osm-ru19:16
*** gryphon has quit IRC19:17
*** Out`Of`Control has quit IRC19:23
*** jekhor has quit IRC19:24
*** Out`Of`Control has joined #osm-ru19:25
*** freeExec has joined #osm-ru19:41
Zverikрадио включил19:45
*** CGI228 has joined #osm-ru19:49
*** freeExec|2 has joined #osm-ru19:51
freeExec|2Zverik: почини чтоли https://josm.openstreetmap.de/ticket/1074119:54
*** drnextgis has joined #osm-ru19:54
ZverikfreeExec|2 после эфира :)19:55
*** freeExec has quit IRC19:58
*** freeExec|2 is now known as freeExec19:58
freeExecкто нашёл как отрубить диалог какому куску назначить историю при разрезании?19:59
*** jekhor has joined #osm-ru19:59
*** jekhor_ has joined #osm-ru20:05
*** vvoovv has joined #osm-ru20:06
vvoovvесть тут кто?20:09
freeExecтут никого нет20:09
freeExecи я не деректор стадиона20:09
*** jekhor has quit IRC20:12
putnikОткрытие лицензии не хуже, когда протухает копирайт, появляется выбор между лицензией и ОД.20:13
putnik*открытые20:13
freeExecод?20:13
putnikобщественное достояние20:14
vvoovvкогда осм закроется?20:15
freeExecне надо отдавать только старые объекты когда они в истории старше 5 лет20:15
freeExecvvoovv: я через час закрою20:16
vvoovvу тебя ключа нет20:17
freeExecу меня крестик есть20:17
Guest6226Пешеходный роутинг - крутая фича в незнакомом месте20:24
Guest6226В Швейцарии аж одно метро, и то переделанное из фуникулера бывшего20:25
Guest6226Zverik: Кстати, а в Киеве как?20:31
ZverikGuest6226 про Киев скоро будет :)20:32
Guest6226Ок20:32
Guest6226Я в принципе могу свести с тусовочкой, если надо апдейты20:33
vvoovvGuest6226: перелогинься20:34
*** Guest6226 is now known as XAN20:34
vvoovvXAN: вот, так лучше20:35
*** Ergo has joined #osm-ru20:38
*** _sev has joined #osm-ru20:39
*** Runge has quit IRC20:43
*** Runge has joined #osm-ru20:44
vvoovvпо осм только один доклад  на конференции http://gisconf.ru/program ?20:45
ErgoОтвалилось...20:48
freeExecзверик офф20:49
Ergoвещания нет совсем20:50
freeExecувидимся в записи20:50
vvoovvрадиво исчезло20:50
ErgoАга. Кака раз вопросы задам, если появятся )20:50
Ergo*Как20:51
ErgoЗаработало20:51
*** Komzzpa has joined #osm-ru20:53
freeExecну в перепись оказалось, что замужних женщин больше чем женатых мужчин20:54
*** victorshcherb has joined #osm-ru21:01
vvoovvvictorshcherb: билет в Москву купил?21:02
victorshcherbох хорошо что напомнил21:02
victorshcherbда надо брать, мы еще не нашли, где жить21:03
vvoovvв airbnb?21:03
ErgoЭх..21:05
freeExecну, я так не играю21:06
vvoovvvictorshcherb: тебе и твоей банде надо несколько докладов заявить21:06
*** Ergo has quit IRC21:07
vvoovvрадиво кончилось21:07
victorshcherbбанде, мне и Лене, который уже сказал, что он osm-щик, а не докладчик21:07
putnikЭто новый формат на замену афтепати.21:07
*** CGI228 has quit IRC21:07
victorshcherbа что за формат, я как раз отключился, радио конец?21:07
XANHflbj gjlyzkjcm&21:07
XANРадио поднялось?21:07
vvoovvобещали включить радиво скоро21:07
XANок21:08
XANя просто с мп3 плеера его слушаю21:08
XANон немного глючит21:08
victorshcherbя ссылку потерял... скиньте еще раз21:08
vvoovvhttp://radio.osmz.ru/21:08
victorshcherbне :) на stream21:08
vvoovvvictorshcherb: лЕне или лЁне :o ?21:09
*** Ergo has joined #osm-ru21:09
victorshcherbЛйоне21:10
putnikЗверик же в записи обещал.21:10
victorshcherbа закрытая конференция, закрытое радио...21:11
Ergovictorshcherb: стрим http://tile.osmz.ru:8000/osmru21:11
vvoovvв мумбле тоже никого нет21:12
vvoovvрасходимся?21:12
freeExecа то кто-то жаловался, зачем отделять передачу от автопати21:13
Zverikда, извините, почему-то не взял провод от ноута21:13
freeExecа в запись и рекламу встроить можно :)21:13
XANZverik:  так а с другог окомпа ты стримить не можешь?21:14
vvoovvvictorshcherb: будешь в совет осм избираться?21:14
victorshcherbсначала Зверика изберем21:15
victorshcherbпотом значит формат поменяем21:15
Zverikа потом я своих знакомых подтяну21:15
victorshcherbа потом уже осм-совет будет никому не нужен21:15
vvoovvvictorshcherb: кто же тогда будет формат данных менять?21:15
vvoovvосму уже ничего не поможет21:16
victorshcherbнадо делать blockchain, к сожалению, не хватило пока сил на хорошую английскую статью21:16
freeExecпосле замены :)21:16
victorshcherbно смотрите21:16
victorshcherbделают же всякие namecoin, ...21:16
freeExecне, биткоинсайл фигня какая-то21:16
victorshcherbа мы будем делать osmcoin, сразу подтянутся люди с серверами21:16
victorshcherbглавная идея почему надо делать blockchain, это что бы можно было live data обмениваться (трафиком) в смысле21:17
ErgoИ актуальность данных в качестве proof of work21:17
victorshcherbпонятно что никто в здравом уме не будет заливать это никогда в osm database, зато если будет сеть эта информация спокойно может в ней распространяться21:17
vvoovvосм ещё несколько лет просушествует по инерции, а потом сервера конфискуют за неуплату электричества21:17
freeExecа домен отнимут сквотеры21:18
victorshcherbтут всем выгода, во-первых выкинем центральные сервера, во-вторых люди смогут майнить дома, осталось только найти кто за все это будет платить21:19
vvoovvзачем сквотеры? есть более серьёзные претенденты - osm.com используется Евраз Северная Америка21:20
victorshcherbсначала сквотеры, а потом уже выкупят претенденты21:20
Maks|Di2какое счастье, что у меня на работе электричество бесплатное21:20
freeExecмало того, что тундру ни кто не мапит, так ещё и не кто майнить не будет21:20
freeExecесли электричество бесплатное, значит товар это ты21:21
freeExecматрица (с)21:21
Maks|Di2freeExec: а как же я? Я же лучше собаки! т.е. я же маплю тундру, только её и маплю21:21
freeExecMaks|Di2: ну вот теперь будешь ещё и майнить, тем более элект. дармовое21:22
Maks|Di2не майнил никогда и не планирую и вообще "я ваших мыслей [про майнинг] не разделяю" (с) Понтий Пилат21:23
freeExecдык без майнинга правка не принимается21:24
Maks|Di2тогда ваш форк с майнингами умрёт в момент создания, за тотальной ненадобностью21:25
victorshcherbтак майнить будут другие, они и будут хранить все изменения21:26
vvoovvкак сделать из ОСМ финансовую пирамиду?21:26
*** drnextgis has quit IRC21:26
victorshcherbа если никто не будет майнить, не будет blockchain, не будет базы данных21:26
freeExecvvoovv: хочешь порисовать ещё домиков, приведи двоих кто рисует дороги21:27
Maks|Di2я бы сказал по другому: "будет blockchain" == "не будет базы данных, никто не будет мапить"21:27
victorshcherbспорно, но суть конечно же не в майнинге, а именно в сети, сеть может состоять хоть из одного сервера21:28
Maks|Di2суть в том, что суть майнинга - только в майнинге21:29
victorshcherbblockchain - это один из видов БД https://en.wikipedia.org/wiki/Block_chain_(database)21:29
victorshcherbmining - это только одна из разновидностей поддержания blockchain, вполне может сделать на принципе torrents кто подключился тот работает, есть seeds, а есть peers21:30
Maks|Di2проблема в том, что углбляясь в майнинг начинается работа ради совершения работы, а не ради конечного результата или результат заранее не является конечным, что при любом варианте сводится к отрицанию самой работы, потому как отрицается сама21:33
Maks|Di2конечность результата21:33
Maks|Di2работа без резльтата - трата ресурсов и на неё даже бесплатного электричества жаль21:33
victorshcherbмы же не про bitcoin21:33
Maks|Di2майнинг в текущих его аспектах интерпритации - это всегда про биткоин и он в любом виде сводит всё к биткоин, т.е. к тотальнуму ничему21:34
victorshcherbвсе-таки, а про blockchain, не обязательно считать уже эти хеши, надо выбрать более цивилизованные методы для того, чтобы сеть пришла в согласие21:34
*** freeExec has quit IRC21:35
Maks|Di2для начала надо начать мыслить аспектами работы совершаемой ради результата, а не ради утилизации ресурсов, тогда придёт понимание, что всю концепцию того же блокчайна надо ломать в хребте21:36
Maks|Di2не важно, что является целью блокчайна, его конечный резльтат - это самодостаточно уравновешенная система при полной утилизации всех ресурсов21:37
*** XAN has quit IRC21:37
Maks|Di2и это плохо уже на уровне концепции21:37
*** vvoovv has quit IRC21:39
victorshcherbЕсли мы серьезно обсуждаем, то я не согласен. Основная идея blockchain, и это в принципе одинаково и в git и в других децентрализованных системах, это то, что не надо фокусироваться на некотором состоянии БД, а надо фокусироваться на транзакци21:40
victorshcherbи и строить цепочку из них. Эта цепочка должна быть eventually согласована между всеми участниками сети21:40
victorshcherbВ чем преимущество torrent/blockchain технологии, что она дает любом подключиться к этой сети, но в то же время достаточно устойчива к вандализму21:41
Maks|Di2затраты на согласование между всеми участниками сети в этом случае превышают полезность самой транзакции21:41
Maks|Di2это ещё более-менее актуально в малых сетях, таких как торрнет, где дай бог над одним объектом работают от силы сотня сидов и пиров21:42
victorshcherbКак согласование написано, так оно и работает. В торрентах вообще нет согласования, там скачивается торрент файл в котором уже все хеши посчитаны, следовательно хеши вальсируют уже сами клиенты21:42
victorshcherbosm достаточно маленькая сеть, любой популярный торрент обменивает больше информации в секунду21:43
Maks|Di2для базы, считающией хеши - это ещё куда не шло, можно зарезервировать пул данных21:43
Maks|Di2но для реальных транзакций это смерть, любая tpc база обрабатывает рандомных транзакций в секунду больше, чем будет лимит по накладным расходам на согласование данных между всеми участниками сети21:44
Maks|Di2для ОСМ сейчас может быть это ещё применимо, там транзакционность ниже, чем в кассе макдональдса21:45
victorshcherbконечно, любое локальное будет работать быстрее, как всегда нужен баланс, зачем кассе макдональдса раздавать свои изменения сразу всем, они могут выложить один раз в день, в любом случае они единственный источник данных21:47
*** _sev has quit IRC21:48
andrewshо, victorshcherb собственной персоной!21:48
victorshcherbandrewsh: да ладно, я бываю иногда тут, правда редко21:48
victorshcherbпроблема OSM, что уже не очень-то просто держать все данные на одном сервере, а если данные будут расти придется их раскидывать по серверам21:48
andrewshvictorshcherb: боишься, что баги османда начнут репортить? :)21:48
victorshcherbи тут опять проблема согласованности21:48
victorshcherbне, чего это... просто клиент не очень удобный. На форуме то и так репортят, я там постоянно читаю21:49
Maks|Di2victorshcherb: я бы не сказал, что текущий объём сложно держать в одной базе21:49
*** _sev has joined #osm-ru21:49
victorshcherbсложно21:49
victorshcherbя недавно покупал SSD 2 TB чтобы держать21:49
victorshcherbи то OSM API DB - уже 1.2 съело21:49
andrewshvictorshcherb: я вот не репортить, но удивлялка такая вот: два разных файла для East Anglia почему-то :)21:49
andrewshодин из них точно работает, так что я спокоен, но прикольно как-то21:50
victorshcherbв текущей ночной английский нормально21:50
andrewshнене, я про датабазу21:51
victorshcherbeast midlands, east of england, south east, north east,21:51
andrewshаа21:51
andrewshхм21:51
Maks|Di2пока что с 2007 года  по 2015 объём ОСМ пока не достиг по размерам годовой объём прироста данных средней ERP системы и вполне умещается на одном бытовом носителе для переноса21:51
victorshcherbну может... правда такого не видел21:51
victorshcherb-- мы говорим не про перенос данных, а про БД с индексами21:51
victorshcherbтак то планета небольшая 50Гб? а БД GB + Mapnik - 500GB21:52
andrewshvictorshcherb: вру, south west21:52
victorshcherbи честно говоря OSM до насыщаемости (особенно если посмотреть те теги, которые уже в спецификации) далек21:52
Maks|Di23 ТБ был годовой прирост данных ERP у меня и это считалось средней базой21:52
Maks|Di2*в год21:52
victorshcherbну и как с такими данными оперативно работать21:53
Maks|Di2уж какие то 500 ГБ под мапник я и дома могу развернуть21:53
victorshcherbERP все-таки архив, там вся история транзакций и т.п21:53
victorshcherbт.е. я себе нормально представляю и знаю, БД сервера от 20 ТБ, но это вообще-то стоит тоже нормально21:54
Maks|Di2э.. архив - это когда надо olap за прошедшие 5 лет повертеть, а вообще то ERP в большинстве своём tpc21:54
Maks|Di2по крайней мере её оперативная часть21:55
Maks|Di2ладно, я вообще мимо проходил, случайно заглянул в окошко :)21:56
victorshcherbя вот сталкивался с BPM. В общем, заявки обрабатываются. БД пухла и когда строился отчет, типа все процессы, БД вполне нормально начинала тормозить, поэтому решение было архивировать21:56
Maks|Di2victorshcherb: для отчётов разного уровня атомарные данные ступенчато аггрегируются, в нормальной системе всегда так21:57
victorshcherbесли доступ к БД по id, то может и нормально, но уже  индексы серьезно тормозят при больших объемах одной таблицы21:57
victorshcherbда и в этих нормальных системах, чтобы сделать отчет, надо сначала подготовить все, материализовать, попросить DBA, ...21:57
Maks|Di2когда считается профицит исполнения бюджета холдинга, никто не переситывает проводки по отдельности21:58
victorshcherbв общем понятно откуда ноги растут21:58
victorshcherbно отчеты не мгновенно считаются скажем так и определенные сложности при больших объемах имеются21:58
Maks|Di2не не не, не надо попросить DBA, это система должна изначально иметь модльно-иерархическую структуру работы с данными21:58
Maks|Di2это не задача DBA, это задача архитектора DB на уровне проектировки системы21:59
Maks|Di2а вот с этим у OSM беда21:59
victorshcherbне знаю насколько это сама система, или уже программисты ее такой сделали, явно что не "бесплатно"21:59
Maks|Di2я говорю о правильной (сферической) системе управления любого уровня и назначения22:00
victorshcherbя сталкивался с некоторым другими задачами, а именно аналитика, там тоже много данных нужно22:00
Maks|Di2сам, как DBA, я ни разу не сталкивался с до конца правильными системами как оперативного так и аналитического направления22:01
Maks|Di2и да, DBA приходится очень много разгребать в этом случае22:01
victorshcherbсказать, что это просто, не скажу. Сказать, что с трендом распределенных БД задача стала проще не скажу, даже сложнее, раньше этим всем занимались DBA (подготовкой данных), с развитием cloud, все думают закинули туда данные а они уже сами посч22:02
victorshcherbитаются22:02
Maks|Di2помнится мы как-то на грид пытались переехать, думали получить 1000% прироста22:02
victorshcherbкогда у тебя в день приходит ТБ данных, ты по определению уже в ... плохой ситуации, потому что даже записать эти данные с нужной скоростью проблема, а обработка гораздо медленнее22:03
Maks|Di2получили 90% тормозов22:03
victorshcherbединственная система которая считала мгновенно у нас была, gridgain потому что она держала все в памяти :)22:03
Maks|Di2потому что существующая система не могла предположить распределённой обработки транзакций22:04
victorshcherbтранзакции это тяжелая вещь по определению22:04
Maks|Di2единственная вещь, которая работала мгновенно на моей памяти - это уже посчитанный отчёт в PDF, который главбух открывал с рабочего стола двойным кликом мыши22:05
victorshcherbнаш разговор достаточно отдален от осм, во-первых не те задачи, во-вторых не тот бюджет и в-третьих это компании в которых работают 1000 людей22:08
victorshcherbа осм хорошо если в день картографирует 100022:08
victorshcherb+ еще компании имеют миллионы customer, которые пишут, звонят и что-то делают22:09
Maks|Di2до тех пор, пока я на ноуте могу развернуть полную копию ОСМ, пусть и тормозами и пусть и для себя одного, я не считаю ОСМ проектом у которого непосильно тяжёлый объём данных22:10
victorshcherbя считаю (считал пока ssd не подешевели), развернуть то можно, а вот обновления получать нельзя22:11
victorshcherbк примеру mapnik db22:11
victorshcherbхотя обновлений там немного, если честно, но обычный hdd не справится22:12
Maks|Di2это не проблема объёма данных, а проблема всей архитектуры данных ОСМ22:12
Maks|Di2в текущем виде вообще не возможно из ОСМ получить адекватный готовый продукт, без длительной и тщательной нормализации и генерализации22:13
Maks|Di2вот сейчас у меня как рах этот процесс идёт22:13
Maks|Di2импорт, правда только 1/6 части планеты (наверное это чуть меньше 10% планеты) занимает около 1-1,5 часов со всеми индексами22:14
Maks|Di2нормализация данных ещё 6-8 часов22:14
victorshcherbпро это я и говорил в принципе http://radio.osmz.ru/all/8-oktyabrya-novy-format/22:14
Maks|Di2потом ещё генерализация данных около 8 часов22:14
victorshcherbдело не в БД, дело в самом формате22:15
victorshcherbно изменения формата я считаю в текущей архитектуре невозможны22:15
victorshcherbпотому что никто БД менять не будет на ходу (работает и ладно)22:15
victorshcherbесли поменять и сделать акцент на сеть, то формат БД будет уже не важен22:15
Maks|Di2и вопрос не в формате самих данных, а в самом принципе ОСМ - база ОСМ - это не данные, это "just a multiplayer notepad"22:15
*** Ergo has quit IRC22:17
*** old_Bibigon has quit IRC22:17
Maks|Di2мы строим карту, если это можно назвать картой, не по геоданным, а по словесным описаниям дилетантов (в широком и не самом лучшем смысле)22:18
Maks|Di2в какие структуры данных это в итоге упаковывается - это прикладной вопрос22:19
victorshcherbsorry, я уже должен идти22:20
Maks|Di2ну это.. успехов22:20
victorshcherbспасибо )22:24
*** kisaa has joined #osm-ru22:24
Maks|Di2о, так это сегодня радио было22:26
Maks|Di2я вам тут не помешал? :)22:26
*** victorshcherb has quit IRC22:35
*** jekhor_ has quit IRC22:51
*** jekhor_ has joined #osm-ru22:59
*** jekhor_ has quit IRC23:32

Generated by irclog2html.py 2.13.1 by Marius Gedminas - find it at mg.pov.lt!