Ресамплинг котировок с помощью Python и Pandas. Как собрать из минутного таймфрейма любой другой.

Ninja Trader хранит и экспортирует котировки только в 1 минутном таймфрейме. Для экспорта других ТФ, можно воспользоваться специальным индикатором сторонних разработчиков., а можно делать ресамплниг (передискретизацию) самостоятельно.

Ниже приведен код скрипта ресамплинга 1 минутного ТФ в 5-ти минутный. Скрипт написан на Python с использованием библиотеки Pandas, которая прекрасно справляется с этой задачей.
 
#Импортируем Pandas
import pandas as pd

#Задаем путь к файлу с 1 минутными котировками, который экспортировали из NT
file_in = "D:\Data\ES 06-15.Last.txt"

#Задаем путь к файлу в который сохраним результат
file_out = "D:\Data\ES-5m-pandas.txt"

#Импортируем котировки из файла
quotes_1min = pd.read_csv(file, parse_dates=[0], header = None, index_col = 0, sep = ';')

#Даем колонкам название
quotes_1min.columns = ['Open', 'High', 'Low', 'Close', 'Volume']

#Запоминаем порядок колонок
order = quotes_1min.columns

#Задаем правила ресамплинга (берем время открытия первой минуты, максимальную цену пятиминутки,
#минимальную цену пятиминутки, время закрытия пятой минуты, суммарный объем за 5 мин.)
conversion = {'Open' : 'first', 'High' : 'max', 'Low' : 'min', 'Close' : 'last', 'Volume' : 'sum'}

#Делаем собственно ресамплинг с сохранением порядка колонок
quotes_5min = quotes_1min.resample('5Min', how=conversion, base=5)[order]

#Удаляем строки с пустыми (NaN) значениями
quotes_5min = quotes_5min.dropna()

#Сохраняем результат в файл
quotes_5min.to_csv(file_out, sep=';' , encoding='utf-8')

Новый формат (MDP 3.0) передачи данных CME. Сравниваем с привычным потоком.

Ниже — обещанное стравнение двух датафидов Rithmic и CQG в реальном времени по нескольим инструментам.

Прежде пару слов

Что мы можем предположить с достаточной достоверностью или уже знаем:
  1. Изменения коснутся только информации о трейдах, т.е. той информации, которую мы видим в ленте.
  2. Информация о лимитных ордерах (стакан) будет поступать в прежнем виде.
  3. Трейды с одним таймстемпом будут паковаться в один пакет.
  4. В реальном времени мы не увидим структуру лимитных ордеров, сведенных с крупным инициативным ордером.
  5. Пакет можно будет распаковать и посмотреть структуру, скорее всего это будут делать поставщики или терминалы. Распаковка потребует некоторого времени.
  6. CQG уже перешел на новый формат. Rithmic пока транслирует поток по-старому.
  7. К октябрю будут обязаны перейти все поставщики данных.

Подробней о планирующихся изменениях, можно прочитать в блоге у Светланы Орловской.

ES-mini


Видим агрегацию у CQG, у Rithmic все по-старому.

Читать дальше

Комментарий на неделю 18 мая 2015 г.

ES E-mini фьючерс на SP500
Индекс SP500 закрылся на рекордных хаях. И это после сильнейших продаж в начале недели. И вопреки слабым экономическим отчетам! Бонды говорят, что экономика США полностью восстановила силы и готова принять повышение ставок. Рынок слушает бонды, которые, в свою очередь слушают ФЕД.
На предстоящей неделе рынок хочет получить подтверждение намерений пробить хаи и продолжить полет в стратосфере. Индекс должен не только пробить и обновить хаи, но и закрыться сильно — над 2125. Тогда все поверятв пробой и продолжение ралли. Иначе все будут ждать минутки ФОМСа в среду и речь Йеллен в пятницу.
На графиках всё выглядит сильно для бычьего рынка. Если все поверят в пробой вопреки сезонным продажам в мае, то новая цель будет 2200.
Опционы на VIX истекают во вторник — на всякий случай, пристегните ремни! Не удивимся, если рынок сначала нырнет вниз перед продолжением ралли, и будем следить за силой поддержки в зоне 2090-2100.
Шортовая расстановка сил такова, что можем скорректироваться до 2050 — если ФОМС окажется неприветливым. С другой стороны, Шорты-опционщики достигли всех целей вначале прошлой недели. Если они успокоились, то приветливый ФОМС поможет Лонгам закрыть все позы на новых хаях в пятницу.

Назад к нашим планам. СИП на неделю 20 апреля.

ES E-mini фьючерс на SP500
Психически неуравновешенный рынок у нас. Маниакально-депрессивный. Продажи до упора в понедельник-вторник. Сумасшествие на Глобексе и сильнейшая ралли в среду. 40-пунктовый демпинг в пятницу...
Депрессивная стадия из-за новостей из Греции — говорит Европа. Новые Китайские шортовые правила — говорит Азия. Опытные глаза игроков в Штатах видят очередную опционную игру и ловкое использование новостей в своих интересах. Я склоняюсь к мнению, что правы последние...
Начала года предсказало, что наc ждет весь год  с резким усилением волатильности. Предсказание сбывается! Рынок остается бычьм и, возможно, в широком флэте — консолидации. Гэп ап, Гэп  даун  — есть возражения?
На СИПе 3-Топ с каждым новым хаем чуть ниже. Пока 2125 остается сопротивлением, будем считать, что мы в широком флэте, и пробой 2050 откроет дорогу на ещё один дэмпинг до 2035. И только пробой зоны 2035-40 откроет дорогу на ре-тест среднесрочной поддержки на 2000 и 10-20 пунктиков ниже до 1980. А это создаст пэттерн 3-ботома ( отдельные технари видят 3-ботом на 2035, так что будем смотреть в оба!). Пока зона 1980-2000 не пробита вниз и 2125 не пробито вверх, Шорты высматривают шортовые признаки, Лонги продолжат тянут одялко на себя и выкупят любые мелкие откаты.
Повторю — буллишь в долгосроке, неопределенность в среднесроке, начинает смотреться (очень) беаришь в краткосроке =  широкий флэт!
 На дневках остров — оччень беаришь! Большинство интрадейщиков будет шортить отскоки.
 Недельные уровни: 2128,5-2131 и 2153,5-2155 — сопротивления, 2055,5-2057,5— булл/беар, 2043-2044 и 2023,5-2025— поддержки.
Уровни на понедельник 20 апреля:
Sell: 2081,5-82,5, 2086,5-88,2093-96 — сипатичный Шорт, особенноб если случится на Глобесе, 2098,5-2100, 2015,5-2108.
2069,5-2071 — Bull/Bear на день:
Buy:2065-66 — следить, если держат на Глобексе, нет, так покатимся до 2055-56, вРегулярную, однако, в игру вступят опционщики и покажут зубки на2059-60, 2044,5-2046.
 

Главные события нефтяной недели с 1 марта 2015 г.

НЕФТЬ
1) Нефть сильно упала на сильном долларе и предвкушении, что ФЕД начнет повышение ставок в июне, не в сентябре. Брент потерял $60, Круд потерял $50.
2) Нефть также стабильно показывает рекордный спрэд за последние 12 месяцев: 10 баксов между  Брентом и Крудом. Обработчики и конгломераты наживаются!
3) Я заправила бак за $3 бакса за галлон и чуть не плакала, вспоминая совсем недавнюю цену $1,95. Тренд на подъем цен на заправках продолжается. Объясняют авриями на нефтепереработке, расширениии забастовки на нефтеобработке, ну и переход на более дорогую летнюю смесь — тож на нефтеобработке.
 
Читать дальше

План на неделю 9 марта 2015 г

ES E-mini фьючерс на SP500
В первую неделю марта Насдак достиг желанного 5000 уровня, отметив 15 летнюю годощину хаев интернетной бабл, а СП500 потерял 1.58%, отметив годовщину дъявольского дна 666, установленного 6 марта 2009 года. В понедельник 9 марта будет 6-летняя годовщина нашего бычьего рынка.
Причиной падения стали пэйролсы — неожиданно хороший отчет пробудил старые страхи, что ФЕД начнет повышение ставок в июне, а не в сентябре.
На предстоящей неделе рынок может одуматься и передумать — особенно, если посмотрит в сторону европейского КУЕ. Если этого не случится, значит, инвесторы поверили в Европу и продолжат ротацию из бумаг США в европейские, что приведет к краткосрочной коррекции.
Основные поддержки на СИП500, кэше и фьючерсе, — 2065, 2050 и 2040. Где шорты не выдержат и начнут крыться, там и остановимся. Упрямые шорты попытаются достичь зоны 2030-40 — все зависит от предстоящей недели и тестов вышеназванных уровней.
Рынок булишь на долгом и среднем таймфрейме и беаришь краткосрочно. Прайс экшин тоже беаришная. Шортить отсоки будет предпочитетльнее, пока снова не услышим воркование ФЕДа о сентябрьских планах...
Недельные уровни: 2105-2106 и 2096,5-2098 — сопротивления, 2082-2084— булл/беар, 2052,5-2053,5 и 2036,5-2038 — поддержки.
Уровни на понедельник 9 марта:
Sell: 2091,5-83, 2088-89, 2092-93, 2096,5-2098Weekly#1.
2077,5-2078,5 — Bull/Bear на день:
Buy: 2063,5-64,5, 2058,5-60, 2052,5-2053,5 — Weekly#1, 2045,5-46,5, 2036,5-2038 - Weekly#2.
  

Долгожданная коррекция?

ES E-mini фьючерс на SP500
Возможно сегодня и есть начало той коррекции, которую я так давно ждал! )) Ждал не потому что просто этого хотел, а ждал потому, что этой коррекцией подтвердится теория, что перед очередным движением, среднесрочный диапазон необходимо развить до конца и тоько потом идти дальше. К коррекции готовился со дня на день, об этом предупреждали профиля заранее на графике.
График
На чарте видно, что на протяжении со 2 по 5 марта на дневных (американских) сессиях были хвосты вниз  — это разведка, чаще всего делается чтобы «прострелить полянку» перед очередным движением, а заодно уводят цену, тем самым привлекая ритейл ко входу в рынок, чтобы затем его (ритейл) благополучно снести...

Читать дальше

План на неделю 23 февраля 2015 г

ES E-mini фьючерс на SP500
 
Пятница сделала диапазон недели — трендово с синглами. Пробила 2100 и закрылась НАД. Лой пятницы 2082 становится первой важной поддержкой на рпедстоящей неделе. Тест пробой  выкупят до 2075. Цель будет +3-5% для долгосрочников,  меньший таймфрейм нацелен на 2128-33. События в Греции и на Украине приведут к новым откатам, который опять выкупят. Сильные Гэпы вверх по любому поводу приведут к столблению профита и откатам, которые тоже выкупят. Бычий рынок собирается праздовать 6-летний день рождения на хаях и не остановится до 6-9 марта. А с марта по май наступает сезон столбления профита Лонгов с октября- декабря, и они предпочитают это делать на обновлении хаев.
Эллиотчики счиают основную 3ю волну с отябрьского лоя 1820 до целей в зоне 2140-2178, что есть +4-6% от хаев 2014 года.
Недельные уровни: 2138-2140 и 2152,5-2154,5 — сопротивления, 2020-2021,5— булл/беар, 2075,5-2075 и 2048,5-2050 — поддержки.
Уровни на понедельник 23 февраля: http://www.charthub.com/charts/2015/02/23/es_mp_wrk_2
Sell:2111-13, 2117-18,5, 2125,5-26,5, 2136,5-38.
2098,5-2099,5 — Bull/Bear на день:
Buy: 2095,5-96,5, 2090-91,5, 2081,5-82,5, 2075,5-77 Weekly#1, 2065-66.
 

План на неделю 17-20 февраля 2015 г.

Блог им. EStrader
Пробои ключевых сопротивлений 2066 и 2088 выглядят настоящими. Неделя ОРЕХа должна сохранить волатильность, и продолжение (обновление хаев прошлой недели) подтвердит «настоящесть» пробоя хаев года. Рынок снова буллишь на всех таймфреймах. Насдак обновляет 15-летние уровни и идет на 5000. Вряд ли он там остановится, так как полупроводники только разогреваются.
Недельные уровни: 2132-2133 и  2166,5-2170  — сопротивления, 2066-2068— булл/беар, 2018,5-2020 и 1998,5-2000 — поддержки.
Важные поддержки по порядку: 2066-68, 2050-52, 2013-15, 1998-2000.
Сопротивлений нет, так как все расччетные, а не исторические..

Главные события нефтяной недели с 9 по 13 февраля

НЕФТЬ

1)  На первом месте всё-таки признание саудитов, что падение нефти бьет по конкурентам быстрее, чем, они предполагали. Об этом писала на неделе: http://mypivots.ru/blog/oilmarket/66.html
2) Здесь, наконец, стали более пристально следить за темпами захлопывания вышек.  Скорость закрытия платформ впечатляет — падение более крутое, чем в 2008-2009! Инвесторы под впечатлением провозглашают скорое дно на нефти. Спекули будут продолжать шортить отскоки. Товарищи, смотрите сначала, какие платформы закрываются! Если старые и малопродуктивные, то подумайте, пожалуйста, что делают высоко-технологичные, которые до сих пор активны! Справа график, на который провозглашатели дна должны полюбоваться. Недельное закрытие буровых с ноября-месяца.

Читать дальше