ClickHouse

Nov. 9th, 2016 06:25 pm
kaipa: (Default)
[personal profile] kaipa
Вчера, пока Америка голосовала за Трампа, я выступил на юбилейной конференции HighLoad++, которая в этот раз проводилась в Школе Управления Сколково. Это было мое третье выступление на HL++ (предыдущие -- в 2012 и 2013гг) и, наверное, самое успешное. Рассказывал я про Яндекс.ClickHouse -- аналитическую массивно-параллельную СУБД, разработанную Яндексом для своих потребностей и выпущенную в OpenSource летом этого года.

Надо сказать, что Яндекс произвел некоторую революцию. КликХаус -- это очень быстрая и очень хорошо масштабируемая система, которая по скорости может померяться с кем угодно, включая Vertica. Яндекс -- большие молодцы, что ее сделали, и еще большие, что открыли для всех желающих. В КликХаусе применен ряд удачных технических решений, за счет чего достигаются впечатляющие результаты производительности на тестах и реальных задачах. Впрочем, в большей степени они впечатляют тех, кто до этого имел дело только с простыми OLTP базами данных или с Хадупом. Интерес к КликХаусу в России и в ИТ-мире большой и вполне заслуженный. Яндекс выступил с докладом и провел несколько митапов. А потом выступал я.

В моей компании я веду проект по миграции части инфраструктуры на КликХаус и мы сполна вкусили всю его специфику. Надо сказать, что у Яндекса нет опыта продвижения OpenSource проектов, и они не понимают, как это делать и зачем. Я безуспешно пытался выяснить их планы развития, roadmap -- не раскрывают. После моего доклада, надеюсь, что они поняли свои ошибки, хотя бы некоторые. Если в своей презентации ребята из Яндекса рассказывали, какой КликХаус хороший и как он замечательно решит все проблемы, то я указал на существенные недостатки и ограничения КликХауса, которые делает его использование для задач вне Яндекса неудобным, а возможный переход с другой инфраструктуры -- весьма болезненным. Конечно, все проблемы решаемы, и некоторые из решений я предложил и обсудил в своем выступлении, но они существенно усложняют использование продукта. Хотя многие из недостатков и ограничений могли бы быть достаточно легко устранены, если бы Яндекс обращал большее внимание на пожелания OpenSource сообщества.

По окончании, ребята из Яндекса не полезли драться, а поблагодарили за конструктивную критику и пообещали, что многие из отмеченных мною недостатков скоро будут устранены.

А Сколково -- http://school.skolkovo.ru/ru/ -- мне понравилось.

Date: 2016-11-09 05:38 pm (UTC)
From: [identity profile] sober-space.livejournal.com
ЗдОрово, буду читать-смотреть. А выступление само можно посмотреть там?

Похвастаюсь не в тему: мой Go-клиент к Algorithmia они обещают сделать официальным. В всяком случае, сам основатель Диего Оппенгеймер мне написал с похвалами и предложением выслать футболку ))

Ну посмотрим как оно сложится.

Date: 2016-11-09 09:31 pm (UTC)
From: [identity profile] ushastyi.livejournal.com
Там была профессиональная видеосъемка, и даже транслировалось в прямом эфире на хабре. Наверное, видео потом будет где-нибудь доступно. Про кликхаус есть хороший подкаст Виктора Тарнявского -- https://sdcast.ksdaemon.ru/2016/07/sdcast-45/ -- он обычно рассказывает, как это все хорошо все работает в Яндекс.Метрике.

Поздравляю с go-клиентом и потенциальной футболкой :) Такого рода события всегда приятны.

Date: 2016-11-09 06:14 pm (UTC)
From: [identity profile] levgem.livejournal.com
ну а я традиционно с тобой не пересекся =)

Date: 2016-11-09 09:26 pm (UTC)
From: [identity profile] ushastyi.livejournal.com
Я тебя дважды видел через стекло митап-комнаты :) Сначала снаружи, а потом и изнутри.

Но вообще, в этот раз так плотно и в разных местах все происходило, что с кем-то пересечься было непросто. С Петей Зайцевым встретились только в раздевалке :)

Date: 2016-11-10 06:51 am (UTC)
From: [identity profile] russhatter.livejournal.com
делает его использование для задач вне Яндекса неудобным
Имманентное свойство всего, что делается в Я. Дайте знать, если произойдёт Чудо и они исправятся.

Date: 2016-11-10 08:36 am (UTC)
From: [identity profile] ushastyi.livejournal.com
Чтобы чудо произошло, надо чтобы они осознавали, что есть такая проблема и хотели ее решать. За несколько месяцев общения у меня не сложилось впечатления, что Я собирается как-то реагировать на внешний фидбек и корректировать планы разработки (кроме откровенных багов).

Date: 2016-11-10 09:27 am (UTC)
From: [identity profile] russhatter.livejournal.com
Я и говорю: это имманентно. Наблюдал за эти явлением с обеих сторон, было дело.
В смысле: особо-то не надейтесь...
Edited Date: 2016-11-10 09:28 am (UTC)

Date: 2016-11-10 11:06 am (UTC)
From: [identity profile] ushastyi.livejournal.com
Поглядим. Пока что они говорят, что мой фидбек принят к сведению, и в направлении сделать КХ ближе в людям работа уже ведется.

Date: 2016-11-10 07:50 am (UTC)
From: [identity profile] artemirk.livejournal.com
Только навигация внутри сколково конечно была специфическая. Часто просто шел по кругу чтобы найти нужную зону.

За доклад спасибо.

Date: 2016-11-10 08:36 am (UTC)
From: [identity profile] ushastyi.livejournal.com
Да, там все ходили по кругу, как мне кажется :)

Profile

kaipa: (Default)
kaipa

April 2017

S M T W T F S
       1
2345678
9101112131415
16171819202122
23242526272829
30      

Style Credit

Expand Cut Tags

No cut tags
Page generated Mar. 24th, 2026 02:59 pm
Powered by Dreamwidth Studios