Этот курс представляет обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и графовых систем управления базами данных, систем распределенного хранения и обработки данных на основе MapReduce, аналитических систем на основе многомерных моделей данных, а также методов аналитической обработки больших данных. Цели: После завершения обучения слушатели смогут:
понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
знать возможности и ограничения современных нереляционных систем управления данными;
уметь анализировать требования при выборе систем управления данными;
понимать возможности и ограничения статистических методов и методов машинного обучения при аналитической обработке данных.
Разбираемые темы:
Классификации источников и потребителей данных, способов хранения и обработки данных.
Требования к распределенным системам управления данными. Модели согласованности данных.
Ограничения реляционных систем управления базами данных.
Модели данных NoSQL: ключ/значение, структуры данных, документно-ориентированная, графовая, колоночная. Memcache, Redis, MongoDB, Neo4j.
Hadoop. Компоненты и инфраструктура Hadoop®. HDFS. Программирование для Hadoop®. Процесс выполнения задач в Hadoop®. Высокоуровневые языки для Hadoop®. Pig. Hive.
OLAP и многомерная модель данных. Способы хранения куба ROLAP, MOLAP, HOLAP. Язык запросов к многомерным кубам MDX. Microsoft SQL Server Analysis Services. Pentaho.
Основы статистики для аналитики больших данных. Статистические оценки, тестирование гипотез.
Основы машинного обучения. Регрессия, классификация, кластеризация. Обучение и оценка классификаторов. R, MADLIb, Mahout.
Компания Screen Interactive Компания Screen Interactive специализируется на разработке, поддержке и продвижении веб-сайтов и является одним из ведущих интернет-разработчиков в г. Харькове. Вакансии компании
DirectEDI Inc DirectEDI Inc. - молодая и уверенная компания на рынке разработки ПО для электронного документообмена. Вакансии компании
G5 Entertainment G5 Entertainment — международный издатель и разработчик популярных игр для iPhone, iPad, PC, PSP, Mac, Android и других переносных и домашних игровых консолей. Вакансии компании