29 мая приглашаем на четвертую дата-среду из цикла «Большие данные в экономике». Тема встречи — «Как извлекать полезную информацию из текста – система PolyAnalyst». Дата-среду проведет Сергей Ананян, генеральный директор компании Мегапьютер (www.megaputer.com), кандидат физмат наук, специалист по решению прикладных задач анализа данных. Надежное извлечение полезной информации из текстовых документов открывает путь к решению многих важнейших бизнес-задач в самых разных областях деятельности. Учитывая сложности, с которыми сталкиваются при попытке извлечения информации системы, основанные только на машинном обучении, мы представим альтернативный подход: использование специального языка запросов, базирующегося на результатах углубленного лингвистического и семантического анализа текста. Мы продемонстрируем практическую реализацию этого подхода…

22 мая приглашаем на третью дата-среду из цикла «Большие данные в экономике». Тема встречи — «Сбор данных и методология парирования блокировки роботов». Проведет дата-среду Сергей Бершадский, ведущий backend-разработчик и системный архитектор, работал с различными проектами, среди которых медицинский портал ЕМИАС.инфо, Play2Live, toptal.com и др. Эксперт расскажет об особенностях извлечения данных из сайтов, их очистки и структуризации. Во время встречи будет рассмотрен весь процесс извлечения данных: веб-скрейпинг, обработка данных, очистка данных, а также способы break-the-wall на примере Yandex и Google. Предложенные кейсы основаны на использовании библиотек python scrapy, beautiful soup, asyncio. Будут рассмотрены подходы, позволяющие имитировать браузер, автоматическое использование имеющегося браузера,…

31 октября состоится «дата-среда», посвященная теме сохранения данных исторического и культурного наследия: архивов, библиотек и веб-сайтов. Эксперты обсудят практику использования инноваций в проектах по архивации, оцифровке и сохранению данных. Иван Бегтин, директор АНО «Информационная культура» и автор проекта Национальный цифровой архив, расскажет о международном опыте цифровой архивации и собственной инициативе сохранения веб-сайтов, находящихся под угрозой уничтожения. Иван Засурский, президент Ассоциации интернет-издателей, поднимет проблему открытого доступа к знаниям и возможностях использования технологий blockchain. Представители Национального исследовательского университета «Высшая школа экономики» поделятся опытом внедрения цифровых архивов в деятельность органов государственной власти. «Дата-среда» — это просветительский проект, организованный «Инфокультурой» в целях распространения лучших практик…

Что изменили открытые данные для государства – например, как они повлияли на работу Министерства культуры и его взаимодействие с гражданами? Зачем открытые данные бизнесу и как это связано с сервисами для граждан? Что такое API и как на основе данных создавать общественные и коммерческие проекты? Где искать данные о любом бюджетном учреждении, государственных контрактах и получателях федеральных субсидий? Стоит ли нам бояться «большого брата»? Об этом и многом другом вы узнаете на «дата-среде» от ведущих экспертов по открытым данным. Своими знаниями и мнением поделятся: Тимур Алейников, заместитель директора ГИВЦ Минкультуры России Иван Бегтин, директор АНО «Информационная культура» Артур Хачуян, генеральный…

Приглашаем 16 мая на дата-среду, на которой Ольга Пархимович, куратор проекта Комитет гражданских инициатив «ГосЗатраты» проведет мастер-класс по использованию инструмента OpenRefine для очистки и предварительного анализа выборки данных гос. контрактов. Цель мастер-класса: познакомить слушателей с многообразием российских финансовых данных (источники и качество данных) и показать пример очистки и предварительного анализа данных о государственных контрактах проекта КГИ «ГосЗатраты» с использованием инструмента OpenRefine. Теоретическая часть будет посвящена обзору доступных финансовых данных в России, включающих: — госконтракты и госзакупки; — федеральные субсидии; — реестр участников и неучастников бюджетного процесса; — данные портала Электронный бюджет (budget.gov.ru); — данные портала bus.gov.ru. Практическая часть дата-среды предполагает…