Уважаемые дамы и господа!
У нас сложилась странная и сложная ситуация – большая часть зарегистрированных на марафон мастер-классов слушателей стали отказываться от участия в массовом мероприятии, вызванных распространением коронавируса.
Нами принято решение о переносе марафона мастер-классов. Срок пока назвать не можем – будем ждать разрядки ситуации. Решение для нас сложное, мы тянули как могли с его принятием. Понимаем, как это ударит по нашему имиджу. Но даже самое сложное решение – это решение. Всю ответственность за ситуацию мы берем на себя. Очень надеемся на ваше понимание.
Нами принято решение о переносе марафона мастер-классов. Срок пока назвать не можем – будем ждать разрядки ситуации. Решение для нас сложное, мы тянули как могли с его принятием. Понимаем, как это ударит по нашему имиджу. Но даже самое сложное решение – это решение. Всю ответственность за ситуацию мы берем на себя. Очень надеемся на ваше понимание.
Александр Конюков
Построение инфраструктуры доставки логов в гетерогенной среде
Россия, Москва
Инженер в ЦИАН
#ApacheKafka
#Saltstack
#Elasticsearch
#HashicorpNomad
#Nginx
#Consul
#Python
#Docker
#Node.JS
Профильный стаж:
7+ лет
Информация о мастер-классе:
◾ тема:
◾ тема:
Построение инфраструктуры доставки логов в гетерогенной среде
◾ цели, задачи:
На реальном примере спроектировать и построить инфраструктуру по доставке и обработке логов для компании практически любого профиля и технологического стека.
◾ рассматриваемые вопросы:
Привет!
Недавно мы написали статью на Хабре о том, как наша система доставки логов развивалась последний год. Для того чтобы выдерживать различные пиковые нагрузки и быстро обрабатывать достаточно большие объемы информации мы полностью изменили её архитектуру и теперь она без особых проблем и вмешательств инженеров обрабатывает 4 Тб логов в сутки.
На примере небольшого интернет-проекта (выдуманного) мы покажем, как можно собирать различные виды логов, доставлять их, обрабатывать и использовать для различного мониторинга. Покажем, как можно (и нужно) настраивать Elasticsearch для комфортной работы с данными, а также проведем учение по его “воскрешению” после сбоев.
Недавно мы написали статью на Хабре о том, как наша система доставки логов развивалась последний год. Для того чтобы выдерживать различные пиковые нагрузки и быстро обрабатывать достаточно большие объемы информации мы полностью изменили её архитектуру и теперь она без особых проблем и вмешательств инженеров обрабатывает 4 Тб логов в сутки.
На примере небольшого интернет-проекта (выдуманного) мы покажем, как можно собирать различные виды логов, доставлять их, обрабатывать и использовать для различного мониторинга. Покажем, как можно (и нужно) настраивать Elasticsearch для комфортной работы с данными, а также проведем учение по его “воскрешению” после сбоев.
◾ предлагаемые к рассмотрению технологии и инструменты:
- Apache Kafka - брокер сообщений и по совместительству отличный буфер для логов.
- Elasticsearch / Filebeat / Logstash / Kibana / Grafana - практически универсальный набор инструментов для доставки, работы и визуализации логов
- Saltstack - одна из популярных систем управления конфигурацией
- Hashicorp Nomad + Consul - Оркестратор с минимально-необходимым и достаточным набором функций
- Nginx + Consul-Template - один из быстрых вариантов реализации Service Discovery
- Docker + Python + Node.JS - то, что мы будем разворачивать и чьи логи собирать.
◾ требования к уровню подготовленности потенциальных слушателей:
Базовые знания о Docker и различных вариантах его использования
Базовые навыки написания shell-скриптов
Базовые навыки Linux-администрирования
Базовые навыки написания shell-скриптов
Базовые навыки Linux-администрирования
◾ требования к уровню подготовленности потенциальных слушателей:
Нужна Linux консоль, поэтому подойдут Linux/MacOs ноутбуки
Видеообращение
Обратите внимание
Предварительная регистрация без оплаты, и она определит - попадет ли мастер-класс в программу.
Cтавьте лайки/дизлайки мастер-классам и регистрируйтесь на понравившиеся:
Cтавьте лайки/дизлайки мастер-классам и регистрируйтесь на понравившиеся:
Вам нравится эта тема?
Не ахти
Спорно
Нравится
Бегу за билетами
Билеты
При единовременной покупке от 5 билетов
Вполне себе демократично
Купи 2 билета с выгодой в 1000 руб. за каждый!
Отдельно вы можете приобрести билет на питание