#osm-ru.2016-10-05.log

*** gry has quit IRC04:18
*** borism3461 has joined #osm-ru04:44
*** borism3461 has quit IRC05:26
*** freeExec has joined #osm-ru06:46
*** Out`Of`Control has joined #osm-ru07:34
*** Scondo has joined #osm-ru07:53
*** Maks|Di2 has joined #osm-ru10:30
Maks|Di2Что-то я не лицезрею феноменального прироста производительности на postgis-2.3+pgsql-9.610:44
freeExecа обещали?10:52
Maks|Di2ага, чуть ли не первая энтерпрайз фича - параллельный скан10:53
freeExecможет базу надо с нуля в этой версии делать10:54
freeExecну или перестроить что-нибудь10:55
Maks|Di2я всегда с нуля делаю, это же POstgreSQL - у него база бинарно-зависимая от версии10:55
Maks|Di2и в настройках воркеров выделил аж 8 штук, благо что памяти хватает10:55
Maks|Di2Major enhancements in PostgreSQL 9.6 include:10:56
Maks|Di2Parallel execution of sequential scans, joins and aggregates10:57
Maks|Di2странно конечно, что это сделали только спустя 10 лет после того, как я завязал с Oracle, где это было by design10:58
freeExecпотом окажется, что ты просто не умеешь их готовить :)11:00
Maks|Di2осталось сделать теперь партишенирование11:00
Maks|Di2freeExec: ну я просто обновил postGIS до 2.3 - где заявлено, что это используется11:01
Maks|Di2понятно, что по идее надо сами sql-запросы разворачивать и смотреть11:01
freeExecтак это фича sql или gis ?11:02
Maks|Di2postgresql это теперь умеет как DB, а postgis теперь это будет использоваться для GIS11:02
Maks|Di2но нужные минимум PostgreSQL 9.6 и PostGIS 2.3 и плюс небольшая настройка в PostgreSQL11:03
freeExecа в профайлере видно несколько воркеров, а то может один всё же работает11:05
Maks|Di2надо статистику собрать и посмотреть планы выполнения11:08
Maks|Di2 9189 ?        Rs     0:03 postgres: bgworker: parallel worker for PID 704611:09
Maks|Di2 9190 ?        Rs     0:03 postgres: bgworker: parallel worker for PID 704611:09
Maks|Di2 9191 ?        Rs     0:03 postgres: bgworker: parallel worker for PID 704611:09
Maks|Di2 9192 ?        Rs     0:03 postgres: bgworker: parallel worker for PID 704611:09
Maks|Di2а нет, глядика, что-то среди процессов раздуплилось11:09
freeExecхороший знак11:10
Maks|Di2только почему то всего 411:10
Maks|Di2надо наверное полную статистику собрать по базе и клизму сделать11:11
Maks|Di2без клизмы оракл тоже консервативен бывает в параллелизации11:11
Rungeприветствую11:13
Maks|Di2и вам не хворать!11:13
RungeMaks|Di2: вы веб картографией по прежнему увлекаетесь?11:15
Maks|Di2Runge: э.. увлекаетесь - это как-то немного пафосно звучит :) Скорее так, для меня это прикладной уровень, когда надо что-то сделать, а надо бывает постоянно11:17
Rungeотлично ) а какими инструментами пользуетесь для визуализации данных?11:18
freeExecтонкий заход из далека :)11:19
Maks|Di2qgis, mapnik, ocad, mapper (openorienteering), AI, CAD, Inkscape11:20
RungefreeExec: может товарищ Maks|Di2 тоже захочет поучавствовать в обсуждении нового языка для описания стилей :) у него наверняка накопилось много чего11:20
Maks|Di2Runge: я разочаровался во всех языках стилей и фактически вернулся к тому, чем занимался раньше - ни acad, ocad ни в mapper никакого языка стилей нет - берёшь и рисуешь, потом назначаешь объектам классы11:22
Maks|Di2для "тонкой доводки" готового продукта в печать выгружаешь всё в AI и доводишь руками11:22
RungeMaks|Di2: но для сложных стилей этот процесс превращается в ад.11:23
Maks|Di2не бывает сложных стилей, бывает конкретная задача11:23
Maks|Di2универсальных стилей не существует11:23
Rungeэто я понимаю, но если задача стоит в подговтоке общего стиля для 18 масштабов, например как openstreetmap-carto.11:24
Maks|Di2я не особо понимаю для чего нужен стиль openstreetmap-carto11:24
Rungeвидимо для отображения всего, что есть в базе ОСМ )11:25
Maks|Di2для этого есть psql "COPY TO STDOUT" :)11:25
Maks|Di2то бы действительно всё11:25
Maks|Di2http://truerest.ru/map/kirov2016_result11:26
Maks|Di2вот например наша последняя работа, кто-то отсканировал кусок карты с соревнований11:26
Maks|Di2задача прикладная, с ОСМ вообще не пересекается11:27
Rungeпонятно11:27
Maks|Di2вместо того, что бы изучать языки для описания стилей, 10 человек месили болота ногами, а потом мышкой с треков и фотографий рисовали11:29
Maks|Di2оказывается не надо знать ни одного языка, что бы это сделать :)11:29
Rungeмолодцы! что тут скажешь11:29
RungeMaks|Di2: а CartoCSS приходилось пользоваться?11:30
Maks|Di2да, даже намётки стиля были, но отключил сейчас его из-за нехватки места11:31
Maks|Di2болота у меня радиактивные из carto-css рендерятся11:31
Rungeчего в нем не хватает с вашей точки зрения? или он самодостаточен?11:31
Maks|Di2я не углублялся дальше примитивов11:32
Maks|Di2главная проблема - порядок отрисовки и наследование11:32
Maks|Di2в карто-css это вроде есть, но в результате конструкции получаются более громоздкие, чем просто продублировать 10 раз с разными фильтрами11:33
Rungeс этим я соглашусь.11:33
Rungeа про наследование, можно немного подробнее?11:34
Maks|Di2в mapcss нет наследования в принципе, как класс, по крайней мере в диалекте komap11:34
Maks|Di2надо изменить 1 параметр выборки - переписываешь всё ещё раз с 1 параметром другим11:35
Maks|Di2в cartocss наследование есть, но зачастую приходится писать много "затычек" на случай если стакан пуст, если он полон и если его нет вообще11:36
Maks|Di2в результате у меня на болотах забавный баг в cartocss, если у объекта поле=NULL, то оно не равно 0, что логично, но при этом при попытке сравнения его например поле < 1.0 что-то ломается во всём cartocss и половина объектов вообще терятеся из запроса11:38
Rungeвозможно баг в самом конвертере11:38
Maks|Di2приходится ещё на уровне DB делать затычки и делать кучу апдейтов базе и присваивать числовые нули, где надо делать сравнения11:38
Maks|Di2да, это баг в конверторе11:38
Maks|Di2я вообще начинал со всем работать с чистого acad и мне нравилась его строгость11:40
Rungeмоя затея с новым синтаксисом состоит в том, чтобы добавить поддержку более сложных выражений в фильтрах, а не ограничиваться A=(<=,!=, etc)B.11:40
Maks|Di2в фильтрах чего? при выборке объектов?11:40
Rungeда11:41
Maks|Di2для этого есть структура как у нормальной GIS - объекты выбираются sql-запросом на уровне DB, а не на уровне языка стиля11:41
freeExecа на сколько плохо делать конвертацию null=>0 через view, а не один раз пройтись update по базе?11:41
Maks|Di2а в стиле уже описывается как мы это будем разукрашивать11:41
Rungeну а если у нас нет ДБ, а есть только шейпфайл или geojson11:42
Runge?11:42
Maks|Di2Runge: для меня shape-файл - это уже какой-то выхлоп сложного и может быть пятиэтажного sql11:42
Maks|Di2если там помойка как в дампах OSM - то это не нужно11:43
Rungeесли использование фильтрации на уровни ренедерера не нужно, то можно его и не делать. )11:43
freeExecт.е. надо делать кучу слоёв с просто ЛЭП, ЛЭП с напряжением, ЛЭП с колицеством цепей, и то и другое и т.д.11:44
Maks|Di2freeExec: я не работаю с данными OSM напрямую, я ничего не беру из таблиц planrt_osm_* вообще, если мне надо сделать выборку по объектам я делаю запрос и выгрзку в отдельную таблицу, как в GIS11:44
Maks|Di2для natural и landuse у меня для каждого из уровней 1-8 своя таблица, нормализованная для этого уровня11:45
Maks|Di2в результате полигоны natural и landuse у меня перерисовываются в 8 потоков за 15 секунд все11:46
Rungeвпечатляет )11:46
Maks|Di2если их брать все из planet_osm_polygon то они перерисовываются примерно 30 минут с 1 по 8 зум11:47
Maks|Di2это не вся планета, если чо, я работаю только с покрытием на страны бывшего ссср11:47
freeExecно это явно без дифов чаще суток11:48
Maks|Di2никаких дифов вообще11:48
Rungeэто все инструменты для хранения и получение геоданных. хотелось бы вернуться к инструментам, генерируещим картографическую картинку.11:50
Maks|Di2я DBA, а значит мне проще на уровне DB нормализовать и получить готовый набор данных, чистый и не избыточный11:51
Maks|Di2а потом я беру qgis чаще всего и получаю картинку того, что мне надо11:52
freeExecнасколько хорошо из qgis взять старые наработки и пременить их к новым данным?11:53
Maks|Di2если бы формат самих стилей не менялся внутри qgis от версии к версии периодически - вообще замечательно11:54
RungeMaks|Di2: а инструментов для визуализации в QGIS хватает?11:54
Maks|Di2нет, но для этого у меня есть Inkscape :)11:54
Rungeсамый надежный способ ))11:55
Maks|Di2https://drive.google.com/drive/folders/0Bz55gCMCGxBbYnpiM3lkM0RmdXc11:56
Maks|Di2вот например, за пару вечеров в qgis  с полного нуля11:56
RungefreeExec: вчера выложил версию 2.5.1 с парой исправленных ошибок.11:56
freeExecRunge: хорошо, скачаю на днях11:57
freeExecshield не смотрел?11:57
Rungeа напомни, что там было?11:57
freeExec:) сам забыл, вроде не двигались и масштаб не работал для них11:59
freeExecчто-то вроде shield-transform11:59
Rungeвроде бы масштабирование исправлял.12:00
freeExecэто хорошо12:00
RungeMaks|Di2: мне нравятся ваши карты12:00
RungeMaks|Di2: расставновка надписей оставляет желать лучшего в QGIS :)12:03
Maks|Di2это делалось 2 года назад, сейчас она немного улучшилась12:03
Maks|Di2у qgis есть более страшный грех, чем расстановка подписей12:16
Maks|Di2некоторые его запчасти требуют питона определённых версий, а держать одновременно свежие postgresql/postgis/gdal и старый питон для qgis бывает сложновато12:17
*** Out`Of`Control has quit IRC14:13
*** freeExec has quit IRC14:38
*** Scondo has quit IRC15:49
*** AMDmi3 has joined #osm-ru16:19
*** gryphon has joined #osm-ru17:27
*** AMDmi3 has quit IRC17:33
*** AMDmi3 has joined #osm-ru17:33
*** gryphon has quit IRC19:59
*** AMDmi3 has quit IRC20:30
*** Out`Of`Control has joined #osm-ru21:27

Generated by irclog2html.py 2.13.1 by Marius Gedminas - find it at mg.pov.lt!