Андрей - Platform Owner в Райффайзен банк. Он занимается разработкой платформы обработки данных в реальном времени. Это очень технически сложное и интересное направление в IT. Подобные платформы позволяют делать приложения быстрыми для пользователей и безопасным с точки зрения компаний. Мы обсудили как работает стриминг данных, какие у него преимущества, затронули тему обучения и поиска работы в подобных сервисах. Андрей рассказал о выступлении на конференциях в Лондоне и Москве. Получилось технически нагружено и интересно! Андрей в LinkedIn linkedin.com/in/andrey-serebryanskiy Упомянутые в видео ресурсы :Книга о высоконагруженных приложениях Designing Data-Intensive Applications - Martin Kleppmann: 1) dataintensive.net 2) github.com/ms2ag16/Books/blob/master/Designing Data-Intensive Applications - Martin Kleppmann.pdf Курсы по JAVA от treehouse teamtreehouse.com/library/topic:java Тут Андрей изучал устройство оперативных систем: ru.hexlet.io/courses Блог Confluent confluent.io/blog Записи докладов с Kafka саммит в Лондоне: confluent.io/events/kafka-summit-london-2023/ Конференция JPoint в Москве jpoint.ru/persons/0c830299793245ee8f09b3ed3c2453c3/ Статья Confluent про использование ChatGPT с Event-streaming confluent.io/blog/chatgpt-and-streaming-data-for-real-time-generative-ai Таймкоды 00:00:00  Приветствие 00:00:06  Заставка 00:00:25  Об Андрее в Твит (почти) 00:00:33  Представление Гостя 00:01:41  Поясни за шмот 00:03:07  Как Андрей вошел в сферу IT 00:03:35  Первая работа и приложение 00:04:09  Вторая компания 00:04:36  Третья компания, Райффайзен Банк 00:05:02  Чем занимается отдел стриминга данных 00:07:02  Как учился Андрей 00:09:10  Как без опыта Андрей получал приглашение на работу 00:10:27  Чем Андрей занимался до IT 00:11:03  Сложно ли гуманитариям в IT 00:13:34  Почему обработка данных в моменте это сложно 00:15:38  Захват изменений: Change data capture 00:16:37  Message Broker в стриминге данных 00:18:10  Write ahead log 00:22:07  Что происходит при большой нагрузке на базу данных 00:23:35  Важно делать бэкапы! 00:24:22  Популярность стриминга данных в России и мире 00:25:41  Kafka Summit В Лондоне 00:27:20  Доклад Андрея https://videos.confluent.io/watch/KtJ3tf2H1TE9VPH3Pa8V8x? 00:27:38  jpoint.ru 00:28:55  Подготовка доклада и выступление 00:33:59  Event Streaming для не крупных компаний 00:35:45  Как зародился Стриминг Данных 00:38:38  batch processing VS event streaming 00:49:12  Выявление паттернов 00:51:24  Глубина обработки данных 00:52:36  Масштабируемость стриминг платформ 00:54:16  Есть ли сейчас проблемы с железом 00:55:37  Кто самый крутой в индустрии? 00:56:03  ChatGPT + event streaming 00:57:48  Типичные сложности новичков 01:00:03  Недостаток кадров 01:00:21  Рекомендация книги 01:08:58  Работа в команде разработки платформы 01:10:34  Что происходит в случае падения