Atlassian заявляет, что стала ближе к достижению «нирваны» хранения данных

Atlassian заявляет, что стала ближе к достижению «нирваны» хранения данных. Фото: Pixabay

В какой-то момент у компании было два хранилища данных. Одним из них — было PostgreSQL, которое использовалось для обеспечения бизнес-аналитики и нужд информационной панели компании и обычно использовалось финансовыми службами, службой поддержки и маркетингом, пишет ZDNet.

Читайте в тему:

• Доходы от подписки Atlassian выросли до 277,9 млн долларов.

• Atlassian откажется от ряда своих серверных продуктов в пользу облачных систем.

• Atlassian внедрила возможности машинного обучения в платформы Jira и Confluence.

Второе —Amazon Redshift для исследований и разработок.

Старший менеджер платформы данных компании Рохан Дупелия:

«Именно сюда мы отправили все данные Clickstream из наших продуктов и использовали записные книжки и аналитику SQL, чтобы понять путь пользователя и закономерности использования наших продуктов»

Но наличие двух озёр данных не пошло на пользу Atlassian, поскольку в конечном итоге доставило компании больше проблем.

Старший менеджер платформы данных компании Рохан Дупелия:

«В первую очередь, мы заметили, что большое количество наборов данных обычно копировалось из одного хранилища данных в другое. Эти копии были хрупкими и часто добавляли задержек в последующие конвейеры и анализ»

Другие проблемы, с которыми столкнулась компания, включали в себя замечание о существовании разных синтаксисов между двумя хранилищами данных, что затрудняло скрытие запросов между ними, и объединение данных из двух хранилищ данных становилось дорогостоящим занятием. 

Старший менеджер платформы данных компании Рохан Дупелия:

«В результате большого анализа просто не было, потому что инженерный налог был слишком высок»

Именно тогда компания пересмотрела свою архитектуру и решила обменять два своих хранилища данных на единую архитектуру озера данных S3. Несмотря на то, что благодаря переходу были достигнуты положительные результаты, в том числе снижение «инженерного налога» и возможность неограниченного масштабирования, производительность озера данных была не на должном уровне.

Старший менеджер платформы данных компании Рохан Дупелия:

«Нам удалось добиться относительно хорошего параллелизма с помощью Presto, но меньшие запросы по-прежнему не возвращались так быстро, как в архитектуре хранилища данных. Кроме того, моделирование данных для информационных панелей и сценариев использования BI было довольно трудным»

Это также означало высокий барьер для входа в аналитические и научные сценарии.

Старший менеджер платформы данных компании Рохан Дупелия:

«Наша команда разработчиков платформы данных становилась узким местом для пользователей, которые хотели делать что-либо продвинутое на платформе. Часто пользователям приходилось просить нас добавить их, чтобы создать кластер или добавить определённые библиотеки в их кластер. Теперь мы можем выполнять запросы намного быстрее, отчасти благодаря оптимизированному времени выполнения Databricks, но также в результате оптимизации, которая пришла с преобразованием таблиц в формат озера данных. Это означало улучшенный опыт использования стиля бизнес-аналитики»

В ближайшие месяцы Atlassian планирует перенести больше рабочих нагрузок бизнес-аналитики в Databricks после недавних испытаний Databricks SQL.

Старший менеджер платформы данных компании Рохан Дупелия:

«Мы также планируем переместить больше таблиц в озеро данных, чтобы ещё больше повысить производительность, а также упростить рабочие нагрузки, требующие сильного размерного моделирования. Мы ищем способы сделать возможным более конфиденциальные варианты использования с помощью Immuta, который представляет собой уровень самообслуживания для доступа к данным и управления конфиденциальностью поверх этого озера данных. В Atlassian мы доказали, что больше нет необходимости в двух отдельных объектах данных. Технологии продвинулись достаточно далеко, чтобы мы могли рассматривать единую унифицированную архитектуру дома у озера»

Ранее Startpack сообщил, что Atlassian обновляет Confluence. Узнайте, что нового появилось в продукте.

Startpack также подготовил список инструментов для организации эффективной командной работы над проектами или для повседневной деятельности. Системы позволяют быстро наладить коммуникацию между членами команды, спланировать деятельность, распределить задачи и проконтролировать результат. Раздел включает в себя CRM, почтовые сервисы, мессенджеры, системы управления задачами, тайм-трекеры, генераторы отчётов и документов, а так же многое другое.

Особая рекомендация: Worksection — инструмент управления проектами для бизнеса. Отлично подходит для растущих компаний, в которых необходимо систематизировать свои задачи.

Полезная новость? Прокомментируйте её или кликните на значок "+" ниже!