Monitoring driven эксплуатация / Николай Сивко (HeadHunter)Ontico
Огромная часть работы службы эксплуатации, так или иначе, связана с мониторингом существующей инфраструктуры.
Если система мониторинга настроена хорошо, она позволяет сократить время простоя, какие-то проблемы показать на ранней стадии, формализовать рабочие процессы команды админов.
То есть она является носителем знания о нашей инфраструктуре и о том, как именно работают админы.
Можно ли извлечь дополнительную пользу из этого?
В hh.ru мы используем систему мониторинга ещё и как check list для повседневных задач админов (алерты в данном случае являются задачами для человека: сделал задачу - триггер проверил результат и погас), идея взята из TDD.
Также расскажу, как мы работаем с внештатными ситуациями: реагируем на алерты, чиним, разбираем и классифицируем.
Еще на основе разобранных инцидентов мы считаем показатели работы службы эксплуатации, из этих показателей высчитываются наши премии (данный KPI получился удачным: с ним согласен и бизнес и админы).
Monitoring driven эксплуатация / Николай Сивко (HeadHunter)Ontico
Огромная часть работы службы эксплуатации, так или иначе, связана с мониторингом существующей инфраструктуры.
Если система мониторинга настроена хорошо, она позволяет сократить время простоя, какие-то проблемы показать на ранней стадии, формализовать рабочие процессы команды админов.
То есть она является носителем знания о нашей инфраструктуре и о том, как именно работают админы.
Можно ли извлечь дополнительную пользу из этого?
В hh.ru мы используем систему мониторинга ещё и как check list для повседневных задач админов (алерты в данном случае являются задачами для человека: сделал задачу - триггер проверил результат и погас), идея взята из TDD.
Также расскажу, как мы работаем с внештатными ситуациями: реагируем на алерты, чиним, разбираем и классифицируем.
Еще на основе разобранных инцидентов мы считаем показатели работы службы эксплуатации, из этих показателей высчитываются наши премии (данный KPI получился удачным: с ним согласен и бизнес и админы).
Распределенная система тестирования машинного переводаyaevents
В докладе рассмотрены принципы построения распределенных систем на примере системы тестирования машинного перевода. Под распределенной системой понимается система использующая большое количество компьютеров для решения задач, требующих очень большого количества процессорного времени. Особое внимание уделено вопросам отказоустойчивости и масштабируемости системы.
Миф об очень сложном Highload / Александр Горный (Mail.Ru Group)Ontico
Highload, высокие нагрузки — популярный и дорогой buzzword, ради него проводятся огромные конференции, разработчики указывают его в резюме, претендуя на большие деньги, а работодатели в вакансиях, обещая более интересную работу.
В докладе я показываю, что современная производительность серверов позволяет не думать о нагрузке для 95% "highload" проектов, знания из конференций не нужны в реальной жизни. Для разработки почти любого, даже очень крупного сайта достаточно PHP+MySQL, здравого смысла и совсем-совсем базовых правил, не обсуждающихся даже на Highload Junior.
План выступления.
1. Ликбез о производительности. RPS, latency — что это значит, как считается, к каким числам надо стремиться? Из чего складывается время отклика? База данных, фронтенд, верстка или мобильное приложение.
2. Замеры достижимой производительности теплого LAMP-ового сервера. Бенчмарк без индексов в базе.
Бенчмарк с индексами в базе. Сравнение с требуемыми цифрами.
3. Перечисление возможных детских ошибок, которые могут испортить эти результаты в жизни. Все эти ошибки объясняются не в академии Highload или институте Highload Junior, а в школе.
Примеры ошибок:
- выгрузка всей базы, а не нужных 20 элементов;
- паразитный вызов тяжелой страницы;
- плохой хостинг;
- чужие тормозные элементы;
- неадекватный объём html/js-кода.
4. Отсутствие детских ошибок позволяет эффективно программировать 90% крупных сайтов, 3-4 приема превратят 90% в 95%.
- nginx;
- репликация;
- кэширование и предрасчет.
Этому, кстати, тоже почти не учат на highload junior, но этому я вас уже научил.
5. Примеры продуктов, в которых на самом деле нужен highload?
- Очень-очень-очень много хитов, дешевле highload, чем новое железо.
- Очень много очен�
Доклад о том, как мы добились идеально ровной балансировки нагрузки по кластеру из 200+ серверов, реализовали автоматический подбор весов и получили разброс CPU usage в 2,5% в пике трафика. Это позволило сэкономить нам около 40-50 серверов и улучшить время отклика мобильного сайта в пике нагрузки. Реализацию приведенного алгоритма мы выложим в open-sourсe. Доклад Юрия Насретдинова на Highload 2015.
Банки.ру — проект с 10-летней историей. В разные времена мы испытывали разные нагрузки. Портал перестраивался под новые требования как логически, так и технологически, что-то мы меняли в авральном режиме, что-то — эволюционным путём. Сейчас в среднем в день у нас примерно 2КК просмотра страниц, т.е. мы уже не маленькие, но ещё и не совсем большие.
Я хочу поговорить об оптимизации, её своевременности, и о субоптимизации, о том, что далеко не всегда лучшие практики разработки нагруженных систем идут на пользу бизнесу.
Посмотрим примеры и поищем ответы на вопросы:
1) Настолько ли ваш highload — highload?
2) Считать ли хабрэффект поводом для внедрения высоких технологий?
3) "Костыль" или "высокотехнологичное решение" — что выбрать? Плюсы и минусы.
4) Как выбрать момент для начала новой эры? Есть ли критерии, когда имеет смысл начинать оптимизировать ваше приложение и внедрять крутые штуки "по-взрослому".
5) Как можно использовать "список Бунина" для достижения очень неплохих показателей, и все ли пункты реально нужны вам?
6) Как работать с тех. долгом, чтобы он не зарастал мхом?
В заключение я расскажу про несколько примеров из жизни banki.ru в части замены технологических решений в области высоких нагрузок, и что из этого вышло.
P.S. Мнение докладчика может не совпадать с вашим, но это его опыт:)
Распределенная система тестирования машинного переводаyaevents
В докладе рассмотрены принципы построения распределенных систем на примере системы тестирования машинного перевода. Под распределенной системой понимается система использующая большое количество компьютеров для решения задач, требующих очень большого количества процессорного времени. Особое внимание уделено вопросам отказоустойчивости и масштабируемости системы.
Миф об очень сложном Highload / Александр Горный (Mail.Ru Group)Ontico
Highload, высокие нагрузки — популярный и дорогой buzzword, ради него проводятся огромные конференции, разработчики указывают его в резюме, претендуя на большие деньги, а работодатели в вакансиях, обещая более интересную работу.
В докладе я показываю, что современная производительность серверов позволяет не думать о нагрузке для 95% "highload" проектов, знания из конференций не нужны в реальной жизни. Для разработки почти любого, даже очень крупного сайта достаточно PHP+MySQL, здравого смысла и совсем-совсем базовых правил, не обсуждающихся даже на Highload Junior.
План выступления.
1. Ликбез о производительности. RPS, latency — что это значит, как считается, к каким числам надо стремиться? Из чего складывается время отклика? База данных, фронтенд, верстка или мобильное приложение.
2. Замеры достижимой производительности теплого LAMP-ового сервера. Бенчмарк без индексов в базе.
Бенчмарк с индексами в базе. Сравнение с требуемыми цифрами.
3. Перечисление возможных детских ошибок, которые могут испортить эти результаты в жизни. Все эти ошибки объясняются не в академии Highload или институте Highload Junior, а в школе.
Примеры ошибок:
- выгрузка всей базы, а не нужных 20 элементов;
- паразитный вызов тяжелой страницы;
- плохой хостинг;
- чужие тормозные элементы;
- неадекватный объём html/js-кода.
4. Отсутствие детских ошибок позволяет эффективно программировать 90% крупных сайтов, 3-4 приема превратят 90% в 95%.
- nginx;
- репликация;
- кэширование и предрасчет.
Этому, кстати, тоже почти не учат на highload junior, но этому я вас уже научил.
5. Примеры продуктов, в которых на самом деле нужен highload?
- Очень-очень-очень много хитов, дешевле highload, чем новое железо.
- Очень много очен�
Доклад о том, как мы добились идеально ровной балансировки нагрузки по кластеру из 200+ серверов, реализовали автоматический подбор весов и получили разброс CPU usage в 2,5% в пике трафика. Это позволило сэкономить нам около 40-50 серверов и улучшить время отклика мобильного сайта в пике нагрузки. Реализацию приведенного алгоритма мы выложим в open-sourсe. Доклад Юрия Насретдинова на Highload 2015.
Банки.ру — проект с 10-летней историей. В разные времена мы испытывали разные нагрузки. Портал перестраивался под новые требования как логически, так и технологически, что-то мы меняли в авральном режиме, что-то — эволюционным путём. Сейчас в среднем в день у нас примерно 2КК просмотра страниц, т.е. мы уже не маленькие, но ещё и не совсем большие.
Я хочу поговорить об оптимизации, её своевременности, и о субоптимизации, о том, что далеко не всегда лучшие практики разработки нагруженных систем идут на пользу бизнесу.
Посмотрим примеры и поищем ответы на вопросы:
1) Настолько ли ваш highload — highload?
2) Считать ли хабрэффект поводом для внедрения высоких технологий?
3) "Костыль" или "высокотехнологичное решение" — что выбрать? Плюсы и минусы.
4) Как выбрать момент для начала новой эры? Есть ли критерии, когда имеет смысл начинать оптимизировать ваше приложение и внедрять крутые штуки "по-взрослому".
5) Как можно использовать "список Бунина" для достижения очень неплохих показателей, и все ли пункты реально нужны вам?
6) Как работать с тех. долгом, чтобы он не зарастал мхом?
В заключение я расскажу про несколько примеров из жизни banki.ru в части замены технологических решений в области высоких нагрузок, и что из этого вышло.
P.S. Мнение докладчика может не совпадать с вашим, но это его опыт:)
Алексей Пименов. Kanban — это не то, что вы привыкли о нем думатьScrumTrek
Что только не называют сегодня Канбаном. В каком только виде не пытаются это использовать. Но если мы хотим результат, и результат уровня организации, то нам надо точно знать, что такое - современный Канбан для нематериального производства, как он работает, за счет чего и как он помогает развивать организации. Мы познакомимся с основными принципами, практиками, повестками и метриками Канбана. Рассмотрим механику его работы в организации и то, каким образом он развивает культуру.
Kanban pizza game (26.10.2016, Kiev, DataHub)vardziya
В среду 26.10.16 в коворкинге DataHub на м.Шулявка мы провели очередную игру из нашей серии “Agile Games”.
На этот раз это была игра “Kanban pizza game”. Эта игра разработка компании Agile42 (http://www.agile42.com/en/training/kanban-pizza-game/).
В то время, как другие Kanban игры обычно фокусируются на механике доски и на потоке предопределенной заранее Kanban системы, эта игра "Kanban Pizza Game" учит Вас как построить Kanban систему на существующем процессе, как его визуализировать и начать улучшать.
Игра оказалась очень веселой и динамичной.
Ну и, конечно, очень полезной.
На примере пиццы мы почувствовали Kanban на практике и научились:
• Получили опыт построения Kanban системы на уже существующем процессе, точно так же как в реальной жизни
• Получили опыт полной Kanban системы в противовес фокусирования только на Kanban доске и сопутствующих механизмах
• Поняли, что Kanban доски являются контекстно-зависимыми: для каждого конкретного процесса может быть много вариантов Kanban досок, которые будут полезными и адекватными, и необязательно должна существовать идеальная Kanban доска
• Научились бороться с потерями с помощью ограничения Незавершенной Работы (НЗР, Work In Progress Limit)
• ну и, конечно, визуализировать все на Kanban Доске.
Кроме того мы получили хороший опыт быстрой самоорганизации и адаптации.
Да и просто весело и с пользой провели время!
JavaScript, который мы пишем, не всегда исполняется, как мы думаем. Виртуальные машины, исполняющие его, делают многое, чтобы он работал быстрее. Но они не всесильны, и чтобы сделать код действительно быстрым, нужно знать их особенности и как все работает под капотом.
Поговорим об этих особенностях, что может служить причиной потери производительности, как это диагностировать и как делать код действительно быстрым. Доклад базируется на опыте, полученном в ходе работы над такими проектами как basis.js (весьма быстрый фреймворк для SPA), CSSO (минификатор CSS, который из медленного стал один из самых быстрых), CSSTree (самый быстрый детальный CSS парсер) и других.
В рамках доклада будут рассмотрены основы Теории ограничений, применимость Теории ограничений при разработке ПО, а также будут рассмотрены практические примеры оптимизации процесса разработки.
Как сделать ваш JavaScript быстрее / Роман Дворнов (Авито)Ontico
JavaScript, который мы пишем, не всегда исполняется, как мы думаем. Виртуальные машины, исполняющие его, делают многое, чтобы он работал быстрее. Но они не всесильны, и чтобы сделать код действительно быстрым, нужно знать их особенности и как все работает под капотом.
Поговорим об этих особенностях, что может служить причиной потери производительности, как это диагностировать и как делать код действительно быстрым. Доклад базируется на опыте, полученном в ходе работы над такими проектами как basis.js (весьма быстрый фреймворк для SPA), CSSO (минификатор CSS, который из медленного стал один из самых быстрых), CSSTree (самый быстрый детальный CSS парсер) и других.
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.Anton Stoliar
1. Цель презентации:
• Побудить аудиторию пользоваться описанными техниками, которые могут помочь уменьшить количество «фейлов» со стороны QA команды в Agile-based проектах.
• Сфокусировать внимание на «фишках» которые особенно пропагандируются в Agile, которые помогают выпускать более качественный продукт
2. Какова практическая ценность презентации для аудитории:
• Поделиться конкретным опытом использования всяческих Agile-техник : Sprint Planning на основе QA оценок, Создание командного Vision-a на основе Product Canvas, First Release Baseline
• Поделиться некоторыми hint-ами когда ты вроде бы test team lead, но по факту менеджишь еще и команду разработки.
3. Для кого предназначена:
• QA которые уже работали по Agile (Scrum в частности)
• Начинающие ПМs и QA Team Leads
• Ребята которым скоро придется лидать Agile-проекты
4. Короткий план презентации по шагам:
• Чего могут жать от работы QA команды к зависимости от специфики проекта\компании
• Чего ожидают от QA в Agile
• Какие техники могут помочь выпустить более правильный\успешный\ качественный продукт
o Как формировать у команды общий Vision и как это помогает снижать дефекты в продукте
o Как планировать спринт отталкиваясь от QA-команды чтобы снизить овертаймы
o Как First Release Baseline помогает спланировать регрессию, когда совсем не осталось на нее времени
Позволяют ли метрики эффективно управлять проектом: диагностировать проблемы, локализовать их, исправлять и проверять? Как использовать метрики с максимальной результативностью?
В длительной перспективе ретроспективы – самая важная часть гибких процессов. Но очень часто у команд не получается запустить процесс непрерывного улучшения, либо через некоторое время этот процесс обрывается, когда команда думает, что все проблемы решены. Я расскажу не только теоритическую часть, которая позволит преодолеть эти проблемы, но и дам несколько десятков примеров конкретных практик, которые применяются на эффективных ретроспективах. Доклад рассчитан, как на начинающих ретроспективы, так и практиков гибких методологий.
DUMP-2015: «Тестирование постановок в Naumen Contact Center» Константин Бекле...it-people
Выступление на DUMP-2015.
Видео доклада: https://youtu.be/YCNfJceX_RE?list=PLRdS-n5seLRp_rmnC69UpyhiPpo1tRYLv
Организатор конференции: IT-People.ru
Сайт конференции: www.dump-conf.ru
Similar to Кораблики. Принципы канбан и теории ограничений (20)
3. Зачем это надо?
Метрики эффективности работы:
•Пропускная Способность — количество
выполненной работы за период.
•Время Поставки — срок от «заказа» до
«поставки».
* При тех же ресурсах.
4. Пропускная Способность
Буквально: кол-во закрытых тикетов за месяц.
•Тикеты разного размера — неважно.
Считаем в среднем — это стратегическая
метрика. Или в поинтах.
•В идеале, чем больше Пропускная
Способность, тем больше денег берем с
заказчика.
5. Время Поставки
Буквально — сколько дней от «взяли» тикет в
работу до «закрыли» его.
•Заказчику кажется, что команда работает
быстрее — только захотел, уже получил.
•У заказчика меньше стимула напихать что-то
в почти законченную фичу.
6. Канбан и Теория Ограничений
— это просто инструменты
улучшения этих показателей!
7. Принципы Канбан
• Визуализация работы
• Фокусировка на потоке работы
• Ограничение работы-в-прогрессе (WIP)
• Принцип вытягивания
8. Теория Ограничений Систем
• В любом процессе одно и только одно
узкое место (aka ограничение, горлышко)
• Бесполезно повышать эффективность
любых звеньев, кроме горлышка
9. Канбан + ТОС
• Там и там нужна визуализация
• Там и там оптимизация потока работ
• Те же метрики.
• Лимитирование работы в прогрессе — но
по-разному!
10. Литература
●
5 Steps To Kanban
●
Scrum & Kanban: выжимаем максимум!
●
Цель — процесс непрерывного
совершенствования
14. 1 — Неуправляемая работа
«Каждый должен выкладываться на
полную!»
(с) Классический менеджер
Правила:
●
Каждый собирает быстро, насколько может.
* Состав операций во всех трех сессиях
не меняем!
15. Выводы и ощущения?
●
Всем весело, правда? :)
●
Как чувствовал себя «отстающий»?
●
Как у нас с качеством?
●
Что с Пропускной Способностью и
Временем Поставки?
●
Улучшается ли ситуация со временем?
●
А как в жизни? ИТ-фактор
17. Выводы и ощущения?
●
Как чувствовал себя «отстающий»?
●
Как у нас с качеством?
●
Что у нас с Пропускной Способностью и
Временем Поставки?
●
Что делать, когда нечего делать?
18. 3 — Теория Ограничений
Правила:
•Найти «горлышко»
•Взяли кораблик — быстрее проталкиваем
•Команда берёт в работу новый кораблик
пока перед «горлышком» ≤ 3 корабликов
19. Выводы и ощущения?
●
Как чувствовал себя «отстающий»?
●
Как у нас с качеством?
●
Что у нас с Пропускной Способностью и
Временем Поставки?
●
Почему Время Поставки меньше, чем при
Канбан?
●
Можно ли сделать его ещё меньше?
●
Что если «горлышко» перемещается?
20. Общие выводы
• Улучшилось качество
• Улучшилось Время Поставки
• Улучшилась Пропускная Способность*
• Закон Литтла:
* Иди и помоги «горлышку»! :-)
