Установка IQ Feed Client

Для начала работы с поставщиком iQFeed Вам необходимо установить на своем компьютере роутер IQ Feed Client.

Авторизируйтесь на сайте http://www.iqfeed.net/dev/ с помощью пароля и логина, полученного у iQFeed, и установите IQ Feed Client.

После установки IQ Feed Client рекомендуется перезагрузить компьютер.

Настройка поставщика данных iQ Feed

Настройте поставщик данных iQ Feed в окне "Менеджер подключений".

Программа может одновременно работать со множеством брокеров и бирж.

Если Вы еще не подключались к каким-либо поставщикам данных, то в Вашем случае, таблица менеджера подключений будет пуста.

Данные –> менеджер подключений

Если поставщик данных подключается к серверу и работает пару тройку дней, то скорее всего он и будет продолжать работать без проблем.

Самые частые проблемные ситуации:

Поставщик данных создан, нажимаю кнопку подключить и получаю ошибку, посмотрим, что пишет. В данном случае сообщение гласит, что нужно загрузить и установить программу компании iqfeed. В других случаях может быть просто написано, что не найдено какое-то программное обеспечение. Это будет лишь означать, что Вы не открывали документацию программы и что имеет смысл ее открыть на странице нужного коннектора (поставщика данных) и сделать все согласно инструкции.

В личном кабинете можно приобрести ключ к коннекторам, которые указаны в табличке поставщиков данных в программе. Выбрав поставщика данных, внимательно прочитайте, какой именно логин нужно использовать для создания ключа. Но, даже если Вы ошиблись, ничего страшного нет, обратитесь в службу поддержки, Вам обязательно помогут.

После оплаты или бесплатного получения, ключ будет доступен в личном и придет оповещение, на указанную при регистрации почту.

Если Вам необходимо подключить поставщика данных, который есть в программе, но его нет в личном кабинете, обратитесь в службу поддержки.

Для того, чтобы в настройке IB появилась возможность выбора альтернативного поставщика данных, его просто нужно создать. В настоящий момент такими поставщиками данных в программе TSLab могут быть IQFeed и NetInvestor. Для поставщика данных можно настроить расписание подключения к серверу.

Для ограничения вывода истории на график, соответственно можно использовать различные настройки в свойствах графика. ДатаОт, МаксБаров, МаксДней.

Удачи!

Обычно, приложения IQFeed работают без ошибок.

Если Вы столкнулись с проблемой, включите логирование IQFeed, если проблема повторяется.

Файлы логов находятся в папке

C:\Users\<User>\Documents\DTN\IQFeed\

файлы имеют наименование IQConnectLog.txt

Для включения логирования, откройте утилиту IQFeed Diagnostics Utility

Зайдите на закладку Logging

Поставьте флаг All Logging, если нет предположения, что именно нужно логировать. Или настройте, например All Errors.

Если проблема повторится, пришлите лог файл в нашу службу поддержки, вместе с лог файлом программы TSLab

Мы не округляем.

Шаг присылает IQFeed.

Для проверки, можно смотреть в их базе на сайте.

Создание поставщика

"Данные" → "Поставщики".

"Добавить" → "Исторические данные".

"Кешированные данные"

Поставщик кешированных тиковых данных(из папки НазваниеПоставщикаCacheTrade).

Достаточно с компьютера на компьютер скопировать папку.

НазваниеПоставщикаCacheTrade , ее можно переименовать, папка может располагаться где угодно.

В свойство кешированного поставщика добавлено поле 'Папка со свечами'.

Если ее указать и положить в папку бины вида: XBTUSD.1M.bin.gz, ETHUSD.1M.bin.gz,

то будут загружаться свечи из этих файлов. Если подходят по таймфрейму.

График 15М, свечные бины 5М - тогда будет загружено из свечей.

График 6М, свечные бины 5М - тогда будет загружено из тиков (как было).

Поставщик понимает файлы bin из версии 1.2 и файлы bin.gz из версии 2.0 и 2.1

В новом поставщике кешированных данных:

1. через + добавить наименование

2. Дать имя

3. Выбрать папку и инструмент

4. Поставщик автоматически по наименованию файлов соберет инструмент

Если необходимо склеить файлы разных экспираций:

Файлы необходимо переименовать таким образом, чтобы из имени файлов убрать упоминание об экспирации.

Например, RIH9_03.14.2019.bin.gz, RIM9_03.15.2019.bin.gz - достаточно оба файла оставить с наименованием RI_03.14.2019.bin.gz, RI_03.15.2019.bin.gz

Программа их склеит, создав инструмент RI. При этом совпадение Дат, в наименованиях файлов, контролируется только человеком.

Внимание! Для файлов bin из версии программы 1.2 и 1.1 , старше 2016 года в свойствах скрипта обязательно требуется ставить ограничения Дата От и Дата К.

Настройка поставщика данных согласно спецификации инструмента, очень схожа с настройкой поставщика текстовых файлов.

Как можно еще передавать данные с торговой машины на оптимизационную, не используя поставщик Кешированных данных. Для передачи файлов с компьютера на компьютер: Идеально, если на втором компьютере такой же поставщик данных с тем же названием и хотя бы раз подключался к такому же серверу. Если такой возможности нет, то по-мимо создания одноименного поставщика данных, необходимо перенести папку "НазваниеПоставщикаCacheDATA" Если и такой возможности нет, некоторые поставщики имеют одинаковые данные, но при этом важно лишь переименовать файл. Тиковая история накапливается в течении дня и при отключении от поставщика данных хранится в папке НазваниеПоставщикаCacheTrade Файлы внутри имеют наименования. Наименования файлов должны соответствовать поставщику.(Многие поставщики имеют одинаковые названия инструментов)

Например, у Вас есть данные с PlazaII и Вам их нужно увидеть в поставщике данных Smartcom Найдите файл от Smartcom за сегодня(или любой день) и переименуйте файлы от Plaza, согласно алгоритму наименований в Smartcom. Перезагрузите программу. Такой же алгоритм будет работать и с Transaq и с QuikLua Если программа не увидела файлы:

1. Файлы переименовали? 2. По-идее, совместимость есть только если наименования инструментов совпадают в файле Securities, для других нужно делать следующий пункт 3. Создать одноименного поставщика данных, перенести Securities из папки НазваниеПоставщикаCacheData И уже этого поставщика подключать к текущему поставщику как Дополнительный источник, через "+Доп.инструмент" в свойствах скрипта.

Transaq не поддерживает уже эксперированные инструменты, таким образом при запуске поставщика они отсутствуют в списке инструментов. В этом случае поможет Поставщик Кешированных данных и настройка "+Доп.инструмент" в свойствах скрипта или Агенте.

Формат данных файла CSV

В TSLab вы можете использовать файлы в формате CSV в качестве поставщика оффлайн данных. Содержимое файла должно быть представлено в заданном формате.

Для файлов CSV распознается только один формат данных:

Порядок записи столбцов:

DATE;TIME;OPEN;HIGH;LOW;CLOSE;VOL;

Формат записи данных в строках:

MM/dd/yyyy;HH:mm;open;high;low;close;volume;

В файле не должно быть заглавной строки. Строка приведенная выше указана для информации, в файле ее быть не должно.

Необходимо использовать бары от минуток и выше

В файле не должно быть пустых строк. Чтение данных выполняется до первой пустой строки.

В качестве разделителя столбцов необходимо использовать знак точка-с-запятой ( ; )

В качестве разделителя дробной части числа необходимо использовать знак точка ( . ) Число записывается без пробелов

Формат записи даты: MM/dd/yyyy

Формат записи времени: HH:mm

В конце каждой строки необходимо использовать знак точка-с-запятой ( ; )

Пример записи данных в файле CSV

Вы можете скачать пример заполнения CSV файла:

Использование поставщика данных формата CSV в TSLab

Добавление оффлайн поставщика данных

Откройте программу TSLab. В главном меню выберите пункт Данные - Добавить оффлайн поставщик данных

В открывшемся окне введите любое имя для поставщика данных, например ExampleCSV. Выберите тип данных Csv файлы. Нажмите на кнопку Далее.

Настройка поставщика данных

На следующем шаге необходимо указать путь к .csv с котировками.

Настройте поставщик данных согласно спецификации инструмента на рынке, на котором в последствии Вы будете торговать.

Для завершения настроек поставщика данных нажмите на кнопку Далее.

Созданный поставщик данных можно найти в меню Данные - Поставщики

Проверка поставщика данных

Для проверки поставщика данных можно вывести выбранный инструмент на график. Для этого Выберите пункт Вид - График.

Щёлкните правой кнопкой мыши по пустому полю графика. В открывшемся контекстном меню выберите пункт Свойства.

Выберите поставщика ExampleCSV. Выберите инструмент ExampleCSV. Подтвердите ваш выбор.

В настройках графика необходимо отключить пункт Исп.дату от

Сохраните внесенные изменения нажав на кнопку Применить. Закройте окно Свойства:График. Дождитесь окончания загрузки данных из файла.

Вы можете загрузить исторические данные из поисковой системы Yahoo Finance. Данная возможность реализована в программе начиная с версии TSLab 2.1

Загрузка файла с историческими данными с сайта Yahoo Finance

Выбор рынка

Откройте сайт Yahoo Finance. В поисковой строке введите аббревиатуру интересующего вас рынка. В качестве примера выберем котировки Apple

На открывшейся странице выбранного рынка вам необходимо выбрать раздел Historical Data

Сохранение котировок

1. Выберите временной интервал исторических данных

2. Подтвердите выбор

3. Сохраните данные на локальный диск. Файл будет сохранен в формате .csv. Рекомендуем скачать файл с котировками в директорию C:\ProgramData\TSLab\TSLab 2.1\Providers\Text Данная папка используется программой для загрузки текстовых файлов по умолчанию.

Создание поставщика данных Yahoo в TSLab

Добавление оффлайн поставщика данных

Откройте программу TSLab. В главном меню выберите пункт Данные - Добавить оффлайн поставщик данных

В открывшемся окне введите любое имя для поставщика данных, например YahooText. Выберите тип данных Yahoo Finance файлы. Нажмите на кнопку Далее.

Настройка поставщика данных

На следующем шаге необходимо указать путь к .csv с котировками.

Настройте поставщик данных согласно спецификации инструмента на рынке, на котором в последствии Вы будете торговать.

Для завершения настроек поставщика данных нажмите на кнопку Далее.

Созданный поставщик данных можно найти в меню Данные - Поставщики

Проверка поставщика данных

Для проверки поставщика данных можно вывести выбранный инструмент на график. Для этого Выберите пункт Вид - График.

Щёлкните правой кнопкой мыши по пустому полю графика. В открывшемся контекстном меню выберите пункт Свойства.

Выберите поставщика YahooText. Выберите инструмент AAPL. Подтвердите ваш выбор.

В настройках графика необходимо отключить пункт Исп.дату от

Сохраните внесенные изменения нажав на кнопку Применить. Закройте окно Свойства:График. Дождитесь окончания загрузки данных из файла.

Утилита для конвертирования тиков из txt в bin для TSLab.

Пример запуска: ConvertTicks.exe Si "test1.txt"

Пример запуска с сжатием тиков: ConvertTicks.exe Si "test1.txt" \c тики сжимаются по одинаковому времени и цене, объемы суммируются.

Для удобства можно запускать батник _run.bat

Данные сохраняются в папку: "_result"

Примеры файлов:

<TRADENO>,<DATE>,<TIME>,<LAST>,<VOL>,<OPER>,<OI> 2309621167,20190621,100000,63744.000000,1,B,1855038 2309621168,20190621,100000,63750.000000,60,B,1855158 2309621169,20190621,100000,63778.000000,5,B,1855158 2309621170,20190621,100000,63780.000000,1,B,1855158 2309621171,20190621,100000,63780.000000,1,B,1855158

<DATE>,<TIME>,<MSEC>,<TRADENO>,<LAST>,<VOL>,<OPER>,<ASK>,<ASKQTY>,<BID>,<BIDQTY>,<INTEREST>,<STEPPRICE> 20190108,100000,000,2206980738,1.1473,1,B,1.1515,1951,1.1462,4187,103604,6.78181 20190108,100000,000,2206980739,1.1478,1,B,1.1515,1951,1.1462,4187,103604,6.78181 20190108,100000,000,2206980740,1.1478,1,B,1.1515,1951,1.1462,4187,103604,6.78181 20190108,100000,000,2206980741,1.1483,4,B,1.1515,1951,1.1462,4187,103604,6.78181 20190108,100000,000,2206980742,1.1487,1,B,1.1515,1951,1.1462,4187,103606,6.78181

Функция сжатия:

Настройки текстового поставщика данных

Настройки поставщика данных csv

Настройки кешевого поставщика днных При создании/редактировании поле "Шаг цены" пишет число с точностью до 8 знаков. Взять нужную точность в данном случае неоткуда. Поэтому сделали фиксированную, 8 знаков.

Формат записи текстового источника данных

Для корректной загрузки данных из текстового файла необходимо записать первую строку документа в следующем формате:

В случае отсутствия данной строки в программе будет выдано сообщение "Не найдена строка форматирования"

Возможные варианты параметров, используемых в заголовке:

Пример записи данных в текстовом фале

Пример №1. Период одна минута

Пример №2. Период 1 тик с номером сделки

Пример №3. Период 1 тик с направлением сделки и данными по лучшим спросу и предложению, с открытым интересом

В наименованиях площадок у обоих поставщиков есть свои особенности.

Например:

Таким образом, не все инструменты доступны для торговли, при использовании Одного IB поставщика данных в связке с IQFeed.

В настоящий момент можно работать только со следующими рынками при использовании IQFeed + TWS(IB):

case "ARCA":

return "NYSE_ARCA";

case "E-CBOT":

return "CBOT";

case "IDEALPRO":

return "FXCM";

case "ISLAND":

return "NASDAQ";

SMART площадка из TWS точно работать не будет при связке с IQFeed и сделать к сожалению, нельзя.

Решение, как работать в агентах на всех площадках, при использовании связки IQFeed с TWS:

Таким образом можно создать несколько поставщиков, один из которых работает с IQFeed вот таким образом:

И другой, который работает с площадкой SMART. Или с другой площадкой, которая не указана в списке выше.

Пример как можно читать и писать bin файлы (кеш баров) на c#.

// нужно добавить TSLab.DataSource.dll, TSLab.DataSourceHelper.dll
using System;
using System.Collections.Generic;
using TSLab.DataSource;

namespace ReadWriteBins
{
    public class Program
	{
        // путь ко всем кешам
        private const string Folder = @"C:\Users\andre\AppData\Local\TSLab\TSLab 2.0";
        // название папки с кешами
        private const string CacheName = "BinanceFutures_TEMPCache";

        private static void Main(string[] args)
        {
            SaveBins();
            Console.WriteLine();
            ReadBins();
            Console.ReadKey();
		}

        private static void SaveBins()
        {
            var bars = new List<BidAskBar>
            {
                new BidAskBar(new DateTime(2020, 1, 1, 0, 1, 0), 10, 10, 10, 10, 10),
                new BidAskBar(new DateTime(2020, 1, 1, 0, 2, 0), 20, 20, 20, 20, 20),
                new BidAskBar(new DateTime(2020, 1, 1, 0, 3, 0), 30, 30, 30, 30, 30),
            };
            var cache = new BinaryCache<BidAskBar>(Folder, CacheName);
            cache.SaveCached("BTCUSDT", "1M", bars, BaseBar.CacheVersion);
            Console.WriteLine("Saved bars.");
        }

        private static void ReadBins()
        {
            var cache = new BinaryCache<BidAskBar>(Folder, CacheName);
            var bars = cache.LoadCached("BTCUSDT", "1M", BaseBar.CacheVersionForLoad);

            Console.WriteLine("Loaded bars:");
            foreach (var bar in bars)
                Console.WriteLine($"{bar}");
        }
    }
}

Пример чтения тиков из bin файла:

private static void ReadBinsTicks()
{
    var cacheName = @"Tinkoff22CacheTrades";
    var folder = @"C:\Users\andre\AppData\Local\TSLab\TSLab 2.0";
    var file = new FileInfo(@"C:\Users\andre\AppData\Local\TSLab\TSLab 2.0\Tinkoff22CacheTrades\VTBR.09.13.2024.bin.gz");
    var cache = new BinaryCache<TradeInfo>(folder, cacheName);
    var trades = cache.LoadCached(file, true, HeaderLoader, TradeInfoCache.CurrentVersion, TradeInfoCache.MinVersionWithHeader);
    Console.WriteLine($"Loaded {trades.Count} trades");
}

private static void HeaderLoader(BinaryReader reader, int version)
{
    if (version >= 9)
    {
        // skip header info by default
        var secInfo = new TradeCacheSecurityInfo();
        secInfo.Restore(reader, version);
    }
}

In TSLab you can connect to multiple brokers and exchanges at once.

If you have no other connections to data providers at the moment, your data providers table is empty.

There can be data providers that provide clients only with historical data, so they can be called historical data providers.

In TSLab you can work with providers using text data and csv text format data, we will talk about them later.

In this video we will learn how to connect to IQFeed data provider and we’ll talk about using historical data in TSLab.

Before we create a new data provider in TSLab, we should register on IQFeed website. You can easily find tutorial videos and texts on registration process yourself; basically the only difficulty you can face is a plenty of questions they want you to answer.

We are not going to review this issue here, I think you are a client of IQFeed already. http://www.iqfeed.net

Click the Add button to create a new data provider in this window.

IQFeed provides its clients not only with historical data, but with online data as well. Let’s choose online data.

Let’s give it any name and find our provider in the list.

New data providers can be added to this list only by TSLab programmers or testers.

If you have questions considering a data provider or a broker, or you do not see your broker in the list, please contact TSLab Support Teaam with your concern.

Setting up IQ Feed is absolutely easy as you can apply default settings.

It might be enough to enter your login and password or select a logging level for your provider. TSLab logging cannot be set up at all and it is always active.

If you uncheck the Logging box, the Support Team won’t be able to help you.

If a data provider has been keeping connection to the server for a couple of days, we can call it rather stable.

Most frequently there can be problems caused by using copy/paste when you may copy an extra space together with your password.

This might happen when you establish connection for the first time. Your broker or historical data provider will inform you about problems with your login/password. Make sure there is no extra space in them.

The other common problem is internet connection. As a rule you receive a notification about failed connection, but this problem may be caused by the data provider as well.

Log folder, you can change the folder if you need.

A data provider has been created, I push the Connect button and see that there is an error, let ‘s see…

There is one moment here we should say about. TSLab doesn’t install necessary software of all brokers and providers as there is a variety of them and we cannot know for sure that all of them are what clients demand.

In this case the notification message says that you need to install the dedicated IQFeed software. In other cases you may be informed that some software has not been found and should be installed.

It only means that you do have to open the User Guide at page devoted to this provider and set it up according to the instruction.

It is really easy to install IQFeed.

Let’s try to establish connection. You do not need to set up the IQFeed client, it will fill in login and password automatically that you entered in the provider settings before.

We have established connection and can download historical data and current quotes from the markets you have selected in your IQFeed account.

You can receive a key TSLab at tslab.pro

Both sites are identical, registration process is quite simple. Confirm your email address after registration.

In your TSLab account you can purchase access to all available connectors.

After you have selected a data provider, read carefully which type of login you need to create a key.

After payment or getting free access, the key is going to be available in your account at this page and you will receive a message to the email address you registered with.

If you need a data provider you don’t see in the list of the offered ones, please contact our Support Team.

Most likely this connector is being tested at the moment and you also can take part.

You can try demo connectors as well. A demo connector has limited validity and that’s the only difference from trading connectors.

Most likely in future it will have a better name , maybe we will call it a trial period or something like this.

It means that if a broker allows you to connect to testing servers, you can connect to both servers via TSLab, to the trading and to the testing one.

In this case we mean onle TSLab, not the broker servers. There are no limits besides key validity.

IQFeed will be in this list in future as well. At the moment no key is demanded.

IQFeed supplies you both with historical and online data

It can be used not only as a historical data provider but as an additional provider for other brokers having data download limits.

For example you can see the Alternative data provider setting for Interactive Brokers. It can be useful in such cases.

Create an alternative provider for Interactive Brokers. At the moment IQFeed and NetInvestor can be alternative providers for Interactive Brokers.

You can set up a server connection schedule for any data provider.

Now ,about data themselves…

Open a chart… View… then Chart.

Right-click the chart… Properties…. A little bit about searching for and downloading instruments.

There is a plenty of instruments on the exchange, some brokers do not provide their clients with lists of instruments.

Because of Interactive Brokers connection process routine you cannot subscribe to an instrument by means of API TWS without placing and cancelling an order on this instrument in TWS.

There can be also a problem with getting currencies tickers. You need to place an order on the Forex market to get them.

It means you place an order in TWS, cancel it and then you search for this instrument in the Instrument search window.

Other data providers may not provide the instruments list to their clients when you connect to them for the first time to save your computer resources.

You are supposed to know the name of the instrument,

If you select a date, then the data previous to this date will be saved, and the data, following the selected date, will be downloaded from the server once again.

It literally means that this instrument cache starting from this date will be deleted from your PC and data will be downloaded from the server.

In the previous video I told which folders TSLab uses. Saved data are kept in the cache and cachetrades folders, they have the same level as the log folder.

If you download this instrument for the first time, most likely you need all the history available, so we cancel all restrictions and click OK.

Data will be downloaded from the server after some waiting.

If you are connected to your provider and the Update in Real Time box is checked, your chart will constantly be updated and all the available historical data will be displayed on the chart.

To restrict historical data volume use such settings as Date from, Maxbars, MaxDays

A simple chart is just a chart, it has its editor. You can attach indicators to a chart; create an algorithm for any calculation that can be displayed on this chart as well.

But a simple chart cannot become a trading agent, so if you need to create a trading robot, to test and optimize it, open the script editor, or the so-called script laboratory.

Choose Scripts, then Create a New Script and build your own algorithm using historical data.

Good luck!

Где скачать данные

Исторические данные формата ТХТ можно получить на странице экспорта данных Финам Необходимо выбрать финансовый инструмент и временной интервал исторических данных для скачивания.

Настройки формата файла смотрите на картинке ниже.

Дальнейшая последовательность действий позволит нам импортировать данные в программу TSLab

Создание поставщика данных

В следующем окне необходимо указать Папку(местонахождение файла) и настроить поставщик согласно спецификации Инструмента на бирже

После настройки, нажмите Далее

Перейдите на вкладку График. Снимите "флаги", ограничивающие Даты. Нажмите ОК.

Выберите Интервал, согласно находящимся в файле данным.

Работа с фьючерсами

При скачивании фьючерсных контрактов обратите внимание, на то, что есть клееный фьючерс нескольких экспираций, например RI, а есть фьючерсы отдельно, по экспирациям RIU, RIZ и т.д.

При склейке фьючерсов в инструмент RI, используется некоторый метод.

Это приводит к тому, что на стыке двух фьючерсов идут недостоверные котировки, котировки двух экспираций смешиваются.

Из-за наличия такого ценового разрыва в склеенных фьючерсах, результаты тестирования стратегии могут быть искажены.

Если оптимизация проводится за несколько лет на клееном фьючерсе, то учитывайте, что каждый год происходит как минимум 4 склейки (поквартально) — получается около 40 периодов с недостоверными данными.

Метод обхода проблемы:

• Исключить пару дней до экспирации из торговли, написав в логической формуле Дата > && Дата <

• Создать условие для закрытия позиции перед экспирацией.