Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
 Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodcastPodlodka Ведущие в выпуске: Евгений Кателла, Егор Толстой Полезные ссылки: Бенчмарки https://huggingface.co/datasets/cais/mmlu https://huggingface.co/datasets/MMMU/MMMU https://huggingface.co/datasets/allenai/ai2_arc https://huggingface.co/datasets/Rowan/hellaswag https://huggingface.co/datasets/allenai/winogrande https://huggingface.co/datasets/Idavidrein/gpqa https://lastexam.ai/ https://www.swebench.com/ https://arcprize.org/arc-agi https://github.com/t3dotgg/SnitchBench Арена https://lmarena.ai/ Фреймворк для эвалов https://github.com/EleutherAI/lm-evaluation-harness Бумаги https://arxiv.org/abs/2504.07825 https://arxiv.org/abs/2311.12022 https://arxiv.org/abs/2406.12045 Тех репорты с таблицами https://www.anthropic.com/news/claude-4 https://ai.meta.com/blog/llama-4-multimodal-intelligence/ https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/#gemini-2-5-pro https://openai.com/index/introducing-o3-and-o4-mini/

Три эксперта — Антон, Рами и Алексей из Yandex Cloud и специалисты из разных компаний и отраслей обсуждают, как бизнесу, ИТ и специалистам по информационной безопасности разговаривать на одном языке, чтобы выстроить безопасную работу в облаке. А именно  — запускать DevSecOps-процессы, выстраивать практическую безопасность, соблюдать требования регуляторов, защищать приложения и многое другое. Подкаст выходит при поддержке журнала «Хакер» и Yandex Cloud. Обратная связь: cloudpodcast@yandex.ru

InSAйт — подкаст от системных аналитиков группы Т-Технологии. Погружаемся в профессию, делимся инсайтами и выясняем, чем наш взгляд на системный анализ отличается от наших коллег. Ведущие — руководитель группы разработки Павел Каравашкин и старший системный аналитик Есения Киселева.

"Artificial Intelligence Anywhere" - это подкаст, в котором Витя Шеленченко и Лёша Картынник aka АйТиБорода разбирают новости из мира нейросетей и искусственного интеллекта. Выходим раз в две недели при поддержке EngX.

Подкаст о буднях продуктовых аналитиков — с шутками, без цифр и математики.

Еженедельные импровизации на хай–тек темы

5 minute summaries of Lex Fridman Podcast's episodes. Get the best insights and ideas in much less time. More at owltail.com

Written summaries: https://www.owltail.com/summaries/15281-Artificial-Intelligence

Other podcast summaries in Apple Podcasts: http://bit.ly/5-min-summaries

Other podcast summaries In other apps, search 'podcast summaries'.

Conversations about science, technology, history, philosophy and the nature of intelligence, consciousness, love, and power. Lex is an AI researcher at MIT and beyond.

Как знания по экономике, бизнес-моделям и криптотехнологиям могут оптимизировать деятельность вашей компании. Основная причина неудач в бизнесе — неправильная бизнес-модель. Создать устойчивую и высокомаржинальную бизнес-модель помогут знания экономической теории. Использование криптотехнологий — блокйчейн, криптовалюты, токены, смарт-контракты, токеномика, DeFi, GameFi, DEX — позволит радикально повысить эффективность вашей бизнес-модели. Развивайте свою компанию по экономическим законам и технологиям, а не наугад!

Подкаст о разработке на Java. Все то, о чем вы боялись спросить в кулуарах.

Привет! Это подкаст про маркетинг от практикующих специалистов простым языком и самом важном. Советы, идеи, кейсы. Здесь мы разбираем новые и всегда актуальные инструменты коммуникации с целевой аудиторией. Мы помогаем предпринимателям, маркетологам и директорам по маркетингу разобраться в деталях рекламных кампаний и зарабатывать больше с вложенного бюджета. Автор подкаста: Артем Первухин, продакшн-директор агентства Кинетика. Канал Тру Маркетинг в телеграм — https://t.me/kineticaagency Все кейсы — https://kinetica.su/#keisy Вопросы — https://t.me/timonof

The Agentic Podcast, hosted by George Bandarian, General Partner & CEO at Untapped Ventures, leads deep discussions that uncover the untapped potential and breakthroughs of autonomous AI systems shaping the future. Featuring insights from founders, investors, and industry leaders, we dive into the impact of Agentic AI on industry and society, breakthroughs in machine learning, the future of responsible AI, and the convergence of human and machine intelligence.

Ever wondered what it's really like to build the future of AI? Join host Logan Kilpatrick for a deep dive into the world of Google AI, straight from the minds of the builders. We're pulling back the curtain on the latest breakthroughs, sharing the unfiltered stories behind the tech, and answering the questions you've been dying to ask. Whether you're a seasoned developer or an AI enthusiast, this podcast is your backstage pass to the cutting-edge of AI technology. Tune in for: - Exclusive interviews with AI pioneers and industry leaders. - In-depth discussions on the latest AI trends and developments. - Behind-the-scenes stories and anecdotes from the world of AI. - Unfiltered insights and opinions from the people shaping the future. So, if you're ready to go beyond the headlines and get the real scoop on AI, join Logan Kilpatrick on Google AI: Release Notes.

Пишем код, за который не стыдно. Разбираем базу, даем рекомендации и встречаемся с умными людьми

Подкаст о технологиях, меняющих нашу жизнь. Самат Галимов – человек, который решает проблемы. Он работает техническим директором и все время должен находить общий язык с людьми самых разных профессий и помогать им понять друг друга. Хакеры рассказывают ему про безопасность, дата-сайентисты – про машинное обучение и системы распознавания лиц, разработчики – про то, как сделать сервис, которым будут пользоваться миллионы, и не облажаться. Слушайте их разговоры в подкасте студии Либо/Либо. Подписывайтесь на соц. сети студии «Либо/Либо». Instagram: @libolibostudio YouTube канал: ЛибоЛибо Facebook: fb.com/libolibostudio Вконтакте: vk.com/libolibostudio

Techno optimism for technical founders

Exploring the biggest questions of our time with the help of the world's greatest thinkers. Host Manoush Zomorodi inspires us to learn more about the world, our communities, and most importantly, ourselves.

Get more brainy miscellany with TED Radio Hour+. Your subscription supports the show and unlocks a sponsor-free feed. Learn more at plus.npr.org/ted

1 февраля 2016: Браузеры, PhantomJS, CSS-переменные, Sass с PostCSS, шрифты, адаптивность, HTTPS, JS-фреймворки. Ольга Алексашенко, Вадим Макеев, Алексей Симоненко

Всем привет! Проведите время с пользой и для души в компании министра цифрового развития Татарстана Айрата Хайруллина. В «Потоке» гости, которые на понятном языке рассказывают о технологиях, трендах и просто общаются «за жизнь».

Подкаст о дизайне продуктов, которые меняют нашу жизнь. Дизайнеры Никита Лакеев и Роман Нургалиев говорят с профессионалами из разных областей, делятся опытом и историями. Пишите нам на designtakoy@gmail.com Читайте нас в Telegram https://t.me/design_takoy