CC BY
60
УДК 303.094.7 JEL C63, Q41
Е. А. Рашидова
Новосибирский национальный исследовательский государственный университет ул. Пирогова, 1, Новосибирск, 630090, Россия
АГЕНТ-ОРИЕНТИРОВАННОЕ МОДЕЛИРОВАНИЕ ОПТОВОГО РЫНКА ЭЛЕКТРОЭНЕРГИИ РОССИИ *
Статья посвящена исследованию свободного рынка электроэнергии с помощью агент-ориентированного моделирования. Целью было создание простого и достаточно правдоподобного симулятора рынка, где поставщики и покупатели, участвуя в двустороннем аукционе, обучаются подавать самые выгодные для них заявки. Такого рода симулятор еще не создан для российского рынка, но зарубежными учеными уже разработаны симуляторы для рынков ЕС и США. Построена теоретическая имитационная модель взаимодействия агентов на рынке на сутки вперед с обучением по алгоритму Эрева - Рота, а затем проведены экспериментальные расчеты, симулирующие работу рынка. На основе полученных расчетов проведен анализ равновесных цен, объемов, общественного выигрыша и его распределения между покупателями и продавцами электроэнергии. Результатом работы стало предположение о том, что, если разрешить агентам, которые способны обучаться, подавать любые заявки на этом рынке, это позволило бы покупателям приобретать тот же объем по более низкой цене и, таким образом, перераспределить общественный выигрыш в пользу покупателей.
Ключевые слова: агент-ориентированное моделирование, обучение агентов, оптовый рынок электроэнергии, рынок на сутки вперед.
Введение
С каждым годом объем потребления электроэнергии на душу населения в России растет. Отметим, что в России огромный неиспользованный потенциал энергосбережения. Сейчас перед государством стоит цель сократить неэффективное потребление. Свободный рынок электроэнергии является попыткой создания стимулов к этому. Очевидно, что более эффективное взаимодействие агентов (потребители, компании, государство) может изменить эту ситуацию в лучшую сторону, что, безусловно, будет являться позитивными социальными переменами. Либерализация рынка электроэнергии в России произошла в 2011 г. У ЕС и США она проходила в девяностых годах прошлого века.
Основные энергетические мощности и объекты электроэнергетики России были построены в эпоху СССР. После перестройки и переходного периода отрасль находилась в упадке (если сравнивать с ее состоянием в советское время или с отраслями других развитых стран.) Электроэнергетика требовала срочных изменений, которые способствовали бы обновлению
* В статье представлены результаты магистерской диссертации Е. А. Рашидовой, занявшей первое место в Конкурсе на лучшую выпускную квалификационную работу по экономике за 2016 г. среди выпускников экономических вузов и экономических факультетов высших учебных заведений России.
Рашидова Е. А. Агент-ориентированное моделирование оптового рынка электроэнергии России // Мир экономики и управления. 2017. Т. 17, № 1. С. 70-85.
ISSN 2542-0429. Мир экономики и управления. 2017. Том 17, № 1 © Е. А. Рашидова, 2017
основных мощностей, повышению эффективности отрасли. Целью реформы было привлечение в отрасль инвестиций. Правительством РФ в начале 2000-х гг. был взят курс на либерализацию рынка электроэнергии 1.
Запланированная реформа проводилась в период с 2001 по 2008 г. Внесенные изменения позволили увеличить объем инвестиций в отрасль и обеспечить в дальнейшем надежность энергоснабжения. Наиболее значимым преобразованием отрасли стало создание свободного рынка электроэнергии и мощности. Целью являлось создание свободного оптового рынка электроэнергии. Главной задачей реформы было эффективное расформирование вертикально интегрированной компании, являющейся монополистом на рынке - РАО ЕЭС. С 1 января 2011 г. оптовый рынок электроэнергии и мощности был полностью либерализован.
Так как рынок существует недолго, неизвестно, какие кризисы могут его ожидать. За время существования свободного рынка США столкнулись с серьезными для стратегически важной отрасли проблемами. К ним можно отнести Калифорнийский кризис 2000 г. и другие подобные кризисы, когда цены резко возрастали в несколько тысяч раз, а также спекуляция электроэнергией «Enron» и последующее банкротство этой крупнейшей энергетической компании. Эти кризисы показали, что может случиться, когда плохо разработанный рыночный механизм реализован без надлежащего тестирования. Рынок России не застрахован от подобных кризисов, поэтому необходимо исследовать природу действий участников, используя опыт ЕС и США, т. е. тех стран, на чей опыт опирались при создании свободного рынка в России.
В статье [1] авторы выделили четыре основных направления анализа взаимодействия между участниками рынка электроэнергии в современных исследованиях:
• ex-post анализ существующего рынка;
• ex-ante анализ рыночной структуры (концентрации на рынке);
• статические модели равновесия на рынке;
• агент-ориентированное моделирование рынка.
Данная работа посвящается именно агент-ориентированному моделированию рынка. Интерес к данной теме возрастает с каждым годом. Фундаментальными трудами в данной области принято считать исследования Даниэля Канемана (Daniel Kahneman) и Амоса Тверски (Amos Tversky), которые показали, что в действительности лица, принимающие решения, плохо справляются с задачами логического анализа, зато достаточно успешны в быстром распознавании шаблонов поведения, часто интерпретация информации основана собственном опыте и интуитивных решениях [2].
На протяжении многих лет экономисты изучали, как принимаются решения с помощью моделей, предполагающих полную информацию и рациональное поведение участников. Однако последние пятнадцать лет исследователи все чаще стараются работать с моделями, где нет таких строгих предпосылок. Для этого стали использоваться агент-ориентированные модели, относящиеся к классу моделей, основанных на индивидуальном поведении агентов и создаваемые для компьютерных симуляций. Таким образом, модель представляет собой совокупность агентов с определенным набором свойств, благодаря чему есть возможность проводить симуляции реальных явлений [3].
Согласно статье [4] существует три основных преимущества агент-ориентированного моделирования:
• учет явлений, возникающих вследствие взаимодействия агентов, которые могут обладать свойствами, не присущими ни одному из агентов;
• обеспечение наиболее близкого к реальности описание системы, если она состоит из набора субъектов / объектов, совершающих какие-либо действия;
• гибкость, что позволяет вводить новых агентов, усложнять их поведение, менять их способность учиться и развиваться.
Также в статье [4] указаны ситуации, когда может быть полезным использование агент-ориентированных моделей:
1 Электроэнергетика: отрасль. URL: http://minenergo.gov.ru/activity/powerindustry/powersector/ (дата обращения 20.05.2015).
• взаимодействие между агентами является достаточно сложным (нелинейным, бесконечным, дискретным);
• пространство играет важную роль, и агенты способны перемещаться;
• у агентов достаточно сложное поведение, включающее в себя обучение и адаптацию к окружающей среде.
Сказанное соответствует ситуации на свободном рынке электроэнергии. В качестве агентов, принимающих решения, могут выступать производители и покупатели электроэнергии. Они соответствуют основным требованиям, предъявляемым к агентам в статье [5]: они автономны, взаимодействуют друг с другом, а также восприимчивы к окружающей среде, что выражается в сборе информации о собственном состоянии, о конкурентах, о ситуации на рынке, перед совершением какого-либо действия. Кроме того, они проактивны, так как способны пробовать совершать различные действия, чтобы увеличивать свою прибыль.
За рубежом агент-ориентированное моделирование свободных рынков электроэнергии проводится, но сравнительно слабо отражается в литературе. Причиной этого, возможно, служит необычное сочетание сложного и специфического рынка с достаточно новым подходом к моделированию. Работы можно сгруппировать по странам, чей свободный рынок является объектом исследований. В США создана целая лаборатория [6] под руководством Л. Тесфатсион (L. Tesfatsion) по агент-ориентированному моделированию оптового рынка электроэнергии [7]. Отличие этих исследований от прочих заключается в том, что в лаборатории идет совместная работа физиков и экономистов [8]. Группа европейских ученых во главе с Дж. Бауэром (J. Bower) [9], Д. Банном (D. W. Bunn) [10], А. Вейдличем (A. Weidlich) [11] и Д. Веитом (D. Veit) [12] активно исследует свободный рынок Германии и рынок ЕС в целом. Бауэром и Банном также исследуется британский рынок, а именно итоги реформирования уже имеющегося свободного рынка, куда был добавлен сектор свободных договоров, функционирующий в режиме реального времени [13]. Также есть небольшая группа китайских ученых, которые пока не анализируют свой рынок, а изучают имеющиеся работы [14] и предлагают их модификации [15]. Основными целями работ является создание симу-ляторов рынков, анализ эффективности механизмов ценообразования, создание и модификация подходящих алгоритмов обучения агентов на рынке, а также введение случайных факторов в уже существующие модели. В России на данный момент, насколько мне известно, не имеется работ, где была бы создана или проанализирована агент-ориентированная модель свободного рынка электроэнергии.
Рынок на сутки вперед
на рынке электроэнергии в России
Опишем оптовый рынок электроэнергии России. Существует три группы субъектов оптового рынка электроэнергии (ОРЭ):
1) поставщики электрической энергии;
2) покупатели электрической энергии;
3) инфраструктурные организации.
К поставщикам относят только владельцев генерирующего оборудования. Иначе говоря, это генерирующие компании, такие как ТГК, ОГК, «РусГидро», которым принадлежат электростанции.
Можно выделить пять групп покупателей:
1) энергосбытовые организации (покупают энергию на ОРЭ и продают на розничном рынке мелким потребителям по самостоятельно установленной цене);
2) крупные потребители (крупные заводы);
3) гарантирующие поставщики (покупают энергию на ОРЭ и продают ее населению по цене, устанавливаемой ФСТ);
4) организации, осуществляющие экспортно-импортные операции;
5) территориальные сетевые организации в целях осуществления функций гарантирующего поставщика.
К инфраструктурным организациям относят следующие:
1) системный оператор (СО) Единой энергетической системы;
2) федеральная сетевая компания (ФСК) Единой энергетической системы;
3) некоммерческое партнерство «Совет рынка по организации эффективной системы оптовой и розничной торговли электрической энергией и мощностью» (Совет рынка);
4) администратор торговой системы (АТС) оптового рынка электроэнергии.
Оптовый рынок электроэнергии России состоит из четырех секторов, которые различаются по взаимодействию между участниками рынка и по временному охвату решений, принятых в каждом из секторов: сектор регулируемых договоров, сектор свободных двухсторонних договоров, рынок на сутки вперед и балансирующий рынок, где идет покупка / продажа объемов отклонений электроэнергии, регулируемая АТС.
Далее рассматриваться будет именно взаимодействие в рамках рынка на сутки вперед. Моделировать имеет смысл именно этот рынок, потому что сектора регулируемых договоров и свободных двусторонних договоров слишком примитивны, а балансирующий рынок устроен так, что поставщикам и покупателям всегда выгодно выполнять просьбу администратора торговой системы и стараться минимизировать собственные отклонения, что и является их оптимальным поведением.
Объемы электроэнергии, не покрываемые регулируемыми договорами и свободными двухсторонними договорами, реализуются на рынке на сутки вперед (РСВ). РСВ представляет собой проводимый коммерческим оператором (ОАО «АТС») конкурентный отбор ценовых заявок поставщиков и покупателей за сутки до реальной поставки электроэнергии с определением цен и объемов поставки на каждый час суток 2. На РСВ цена в каждом узле определяется путем балансирования спроса и предложения и распространяется на всех участников рынка, отнесенных к конкретному узлу. Цена РСВ определяется для каждого из узлов в двух ценовых зонах. Индексы цен и объемы торговли РСВ публикуются в ежедневном режиме на сайте ОАО «АТС». Для снижения рисков манипулирования ценами на РСВ введена система стимулирования участников к подаче конкурентных ценовых заявок. В соответствии с правилами торговли, в первую очередь удовлетворяются заявки на поставку электроэнергии с наименьшей ценой 3. АТС формирует цены на РСВ, максимизируя функцию благосостояния, отражающей общий выигрыш от участия в рынке на сутки вперед. Равновесные цены определяются АТС механически, все задано формулами, отраженными в официальной документации 4 В рамках РСВ поставщики и покупатели передают АТС ступенчатые ценовые заявки с указанием объемов и цен, по которым они готовы продать / купить электроэнергию. Ступенчатые ценовые заявки позволяют передать АТС несколько цен и разные объемы для каждой цены от одного агента, при которых он готов торговать на РСВ. Информация передается до 11.00 дня, предшествующего производству и потреблению электроэнергии, указанной в ценовых заявках. До 16.00 того же дня АТС сообщает каждому агенту сложившуюся для него равновесную цену и объем производства / потребления электроэнергии.
Поставщик при установлении цены не обращает внимания на постоянные издержки, так как их компенсируют на оптовом рынке мощности. Компания продает мощности (обязательство поддерживать генерирующее оборудовании в состоянии готовности к производству электроэнергии), и при установлении цены на мощность поставщик учитывает все остальные затраты, кроме топлива.
Модель
Обзор
Обоснование. Объект исследования - оптовый рынок электроэнергии. В данной работе будет рассматриваться взаимодействие покупателей и поставщиков в рамках рынка на сутки вперед на оптовом рынке электроэнергии.
Агентами в данной модели будем считать поставщиков, покупателей и АТС.
2 Технологическое обеспечение работы оптовых рынков. URL: http://so-ups.ru/?id=5 (дата обращения 20.05.2015).
3 Отчет «Анализ ценовой ситуации на РСВ в январе-феврале и первые недели марта 2012 года». URL: www. np-sr.ru/n/SR_0V022960 (дата обращения 20.05.2015).
4 Регламент проведения конкурентного отбора ценовых заявок на сутки вперед. URL: http://www.np-sr.ru/ regu-lation/joining/reglaments/index.htm?ssFolderId=54 (дата обращения 25.05.2015).
Ограничения. В данной модели у поставщиков нет возможности продавать электроэнергию потребителям по всей стране ввиду ограничений сетей по мощности, взаимодействие происходит лишь с потребителями, которые расположены близко к поставщику. Поэтому рассматриваться будут лишь те агенты, которые расположены во второй ценовой зоне (Сибирь). Также у поставщиков нет возможности значительно наращивать производство электроэнергии ввиду их ограничений по мощности. У агентов нет возможности перемещаться в пространстве.
Отношения агентов и их действия. В рамках рынка на сутки вперед поставщики и покупатели подают ценовые заявки, т. е. сообщают АТС объемы электроэнергии и цены, по которым они готовы ее купить / продать. Собрав все ценовые заявки, АТС определяет равновесные цены и объемы производства электроэнергии, определяет, чьи ценовые заявки будут удовлетворены, и сообщает им об этом.
Концепция
Время в модели измеряется в часах (один шаг - один час). В реальности каждый час параметры, характеризующие агентов (объемы и цены), разнятся, поэтому обучение идет для какого-то одного среднего часа каждого дня. Следовательно, агенты принимают решение моментально, а длина между концом шага ^ и началом шага ^ +1 равна 23 часам.
Протоколы взаимодействия и информационные потоки.
Ниже представлены протоколы, отражающие действия агентов на каждом шаге:
Агенты Действия и информация
Поставщики Подают ценовые заявки (цена и объем индивидуального предложения) АТС
Покупатели Подают ценовые заявки (цена и объем индивидуального спроса) АТС
АТС Определяет равновесные цены и объемы для каждого поставщика и покупателя и сообщает это им
Прогнозирование. Поставщики и покупатели прогнозируют ожидаемую прибыль для принятия решения о действии на следующем шаге.
Принятие решений. В качестве потребителей в данной модели будут рассматриваться энергосбытовые компании, чьей деятельностью является перепродажа электроэнергии на розничном рынке. Таким образом, потребители формируют свои ценовые заявки, ставя перед собой цель максимизации прибыли. В качестве другой группы потребителей рассматриваются крупные производства. Они максимизируют свой выигрыш от того, что они покупают электроэнергию на оптовом, а не на розничном рынке. Таким образом, целевые функции у всех покупателей выглядят одинаково: как разница между оптовой и розничной ценой, умноженная на объем. Покупатели чаще всего подают ценопринимающие заявки ввиду неэластичного спроса на розничном рынке.
Поставщики формируют свои ценовые заявки, также ставя перед собой цель максимизации прибыли, которая рассчитывается как объем, умноженный на разницу между оптовой ценой и переменными средними издержками. Следует отметить, что крупные поставщики зачастую обязаны подавать ценопринимающие заявки.
АТС формирует цену на РСВ на пересечении совокупных кривых спроса и предложения. Равновесные цены определяются АТС механически, все задано формулами, описанными в спецификации модели.
Обучение. Поставщики и покупатели обучаются по алгоритму Эрева - Рота [16]. АТС не обучается. Сразу отметим, что такое обучение возможно, если правила агентов дискретны, т. е. каждый агент имеет несколько наборов цена-объем и выбирать он может только из этого набора.
Появление новых агентов или выбытие старых. Число агентов строго ограничено, только СО решает, кто имеет право являться участником рынка. В модели их число предполагается постоянным.
Как случайные события влияют на модель. Случайные события могут быть введены дополнительно после построения модели.
Поиск данных
Прежде чем описывать саму математическую модель, необходимо пояснить, каким образом для нее адаптированы реальные данные. Так как было решено проводить моделирование второй ценовой зоны (Сибирь), необходимо определить количество реально существующих поставщиков и покупателей, а также сымитировать правдоподобные параметры их спроса и цен.
В 2015 г. в Сибири действовало 66 электростанций, однако фактически удалось найти информацию о деятельности лишь 53 электростанций 5. Зададим максимальный и минимальный объем производства электроэнергии электростанциями, ориентируясь на данные об объемах производства поставщиков, которые были взяты с сайтов поставщиков и новостных лент. Напомним, что это лишь симуляция реальных явлений. Максимальный объем производства имитированных данных совпадает с фактическим максимальным объемом производства за 2015 г. Кроме того, необходимо определить минимальную и максимальную цену, которую могут указать производители в заявке. Максимальная цена в 2015 г. составила 1 200 руб./МВтч. Для всех агентов примем эту цену за максимальную. Минимальная цена -это 0 руб./МВтч. Другими словами, производитель готов продать электроэнергию по любой равновесной цене, он уверен в том, что его заявка пройдет, и он не хочет рисковать и устанавливать высокую цену. Устанавливая высокую цену, производитель рискует проиграть аукцион, но в случае, если спрос окажется велик и его заявка пройдет, он может повысить уровень равновесной цены, что увеличит его прибыль. Однако есть небольшие электростанции, которым не выгодно работать при любой цене. Поэтому у части агентов с небольшим максимальным объемом минимальная цена будет больше 0. Также некоторые крупные электростанции всегда подают ценопринимающие заявки, поэтому их максимальная цена равна нулю. Примерные цены, которые подают агенты, можно найти в обезличенных заявках, опубликованных АТС 6. Для расчета прибыли продавцов необходимо знать себестоимость производства электроэнергии каждой из электростанций. На ГЭС она не превышает 0,2 руб. за киловатт-час. На ТЭЦ и ГРЭС, работающих преимущественно на угле, она составляет от 0,5 до 1,5 руб. за киловатт-час. На электростанциях, как и в другом производстве, действует эффект от масштаба. Поэтому чем крупнее электростанция, тем ниже средние издержки. Зададим средние издержки для каждого агента в указанных выше границах с учетом эффекта от масштаба.
Что касается покупателей, то в Сибири они всегда подают ценопринимающие заявки, а значит, ничем не различаются при торговле на оптовом рынке. Всего на оптовом рынке во второй ценовой зоне имеется 21 покупатель. Их суммарный объем варьируется примерно от 17 000 до 30 000 МВтч. Для расчета их прибыли необходимы цены на розничных рынках электроэнергии. Выкупленный объем на оптовом рынке продается разным группам покупателей на розничном рынке. Для каждой группы покупателей на розничном рынке устанавливается своя цена таким образом, чтобы средневзвешенная по объемам розничная цена была выше оптовой цены. Розничная цена для населения всегда ниже, чем оптовая. Поэтому успешность энергосбытовых компаний зависит от цен и объемов электроэнергии, покупаемой юридическими лицами. Спрос со стороны физических лиц с течением времени изменяется незначительно, в отличие от спроса со стороны юридических лиц. В связи с этим средневзвешенная цена всегда колеблется. Определим ожидаемую средневзвешенную цену, ба-
5 Информация об основных параметрах расчетных моделей электроэнергетической системы. URL: http://so-ups.ru/fileadmin/files/company/reports/disclosure/2015/model_ups_0115.pdf (дата обращения 18.03.2016).
6 Отчет о параметрах спроса и предложения. URL: http://www.atsenergo.ru/nreport?rname=curve_demand_offer (дата обращения 03.03.2016).
зируясь на известных розничных ценах по Сибири. Порядка 20 % потребления приходится на население и группы потребителей, приравненных к нему. Около 70 % идет на остальных потребителей, и потери составляют около 10 % '. Что касается цен, то одноставочный тариф для населения (в среднем) составляет около 400-700 руб./МВтч, а для остальных потребителей достигает 2 300 руб./МВтч. Предполагается, что покупатели одинаковые, следовательно, зная границы совокупного спроса 8, можно обозначить границы индивидуального спроса.
Таким образом, был создан набор агентов (53 поставщика и 21 покупатель) с реалистичными параметрами. Дополнительно (для сравнения) создадим набор агентов, которые не вынуждены подавать ценопринимающие заявки.
Спецификация модели
Каждый агент представляет информацию о том, какие минимальные и максимальные цены (Pmin и Pmax) и объемы (Qmin и Qmax) он может указывать в ценовой заявке, средние издержки производства C (для агентов, являющихся поставщиками) и ожидаемая розничная цена r (для агентов, являющихся покупателями). На основании этой информации определяются правила агентов, ожидаемые прибыли nj для каждого правила j в момент времени
t и подаваемые заявки. Каждому из агентов-поставщиков присвоен номер от 1 до 53, покупателям - от 1 до 21. АТС представляет собой формулу формирования совокупных спроса и предложения из индивидуальных, а затем формулу расчета индивидуальных равновесных объемов (прилож. 1). На рис. 1 представлена схема, по которой происходит взаимодействие агентов на каждом шаге.
Теперь перейдем к формальному описанию происходящего. До начала функционирования механизма, в момент времени t = 0 для каждого агента правила задаются:
• номером правила j (от 1 до J);
• ценой Pj и объемом Qj, соответствующими правилу;
• ожидаемой прибылью П1.
У нас имеются диапазоны цен и объемов агентов. Исходя из этого зададим порядок определения дискретных правил (Pj, Qj ) для j от 1 до J следующим образом:
Pp = Pnin + ipPmaV Pmin для ip = 0, ..., Kp, Kp
Qq = Qmin + iQ Qmax " Qmin для iQ = 0,..., Kq .
Q KQ
А потом формируем из них пары сочетаний каждой цены с каждым объемом и нумеруем от 1 до J (J = KpKq ).
В начале момента времени t поставщикам и покупателям необходимо подать свои ценовые заявки (т. е. выбрать одно из правил). Правило, которое будет использовано в период t, выбирается случайно с вероятностью, рассчитанной по алгоритму обучения (прилож. 2). Вероятности выбора правил в начале первого периода (при t = 0) пропорциональны ожидаемым прибылям в конце первого периода П1. Для поставщиков она рассчитывается следующим образом:
П = Qj (Pmax - C),
а для покупателей иначе:
П1 = Q (r -P . ).
] min /
7 Струнилин П. В. Рынок электроэнергии в РФ: взгляд промышленных потребителей. URL: http://www. proatom.ru/modules.php?file=article&name=News&sid=2362 (дата обращения 10.04.2015).
8 Отчет о параметрах спроса и предложения.
Обучающий Модуль
------------- Равновесные
цены, объемы
и исходные
ценовые за-
явки
▼
Покупатели
Ценовые заявки
------------- Равновесные
цены, объемы
и исходные
ценовые за-
явки
▼
Поставщики
Ценовые заявки
Равновесные цены и объемы
Администратор торговой системы
1 спроса и предложения 1 Равновесные цены и объемы
-----------------1—
Модуль поиска равновесных цен
Рис. 1. Схема взаимодействия агентов
Все происходящее далее повторяется для каждого ' от 1 до Т .
1. Каждый агент случайным образом выбрал какое-то правило с номером к', т. е. подал заявку (Р', ). Распределение правил является дискретным с вероятностями, которые
рассчитываются в соответствии с алгоритмом Эрева - Рота (см. прилож. 2) в предыдущий момент времени на основе склонности выбора .
2. АТС собрал заявки со всех агентов и строит функции совокупного спроса и предложения, а затем отправляет их в модуль поиска равновесных цен (см. прилож. 1). На пересечении кривых спроса и предложения определяются равновесный объем (объем покупки / продажи электроэнергии) и равновесная цена для всех сделок по купле-продаже электроэнергии в заданный час. Поставщики, предлагающие цену выше равновесной, и покупатели, предлагающие цену ниже равновесной, в торгах не продают и не покупают электроэнергию в этот час. Графически это изображено на рис. 2.
3. Далее АТС получает Р* (равновесная цена для всего объема) и О (совокупный объем), определяет равновесные объемы для каждого агента. Затем АТС передает каждому агенту информацию о его объеме д* и об общей равновесной цене Р*, на основании которых они считают свою реальную прибыль.
Р
г------------1
Кривая предложения
Кривая спроса
Совокупный объем
О
Рис. 2. Поиск равновесия
Для поставщиков (в векторном виде) она рассчитывается так:
ж' = д* (Р* - С),
а для покупателей так:
ж' = д* (г - Р*) .
4. Теперь, зная выбранное правило, свою прибыль и склонность выбора () правила ]
в текущий момент времени ', агент отправляет эту информацию в обучающий модуль и получает информацию о новом распределении правил (новых вероятностях, которые пропорциональны новым склонностям ). Таким образом, в модели используется алгоритм обучения, который был создан Ротом и Эревом [17] (алгоритм описан в прилож. 2).
Дальше все повторяется заново: каждый агент случайным образом выберет какое-то пра-1'+1
вило с номером к .
Экспериментальные расчеты
Компьютерная симуляция будет проводиться для двух массивов входных данных:
1) когда агенты вынуждены подавать ценопринимающие заявки;
2) когда агенты могут подавать любые заявки.
Для того чтобы понять, кто в большем выигрыше (потребители или производители) будем сравнивать такие показатели, как совокупная прибыль поставщиков:
°Р = I¡=О ж! = 1¡=Од?*(Р* - С),
совокупная прибыль покупателей:
СР = I N1 ж' = I ¡=С€ (г - Р*),
общая прибыль всех агентов:
ТР = ОР + СР.
Длина каждой симуляции равна 365 шагам (365 раз устанавливается новое равновесие). Сначала взглянем на то, как ведут себя цены и объемы (рис. 3).
Колебания ряда цены, если заявки можно было подавать любые, гораздо меньше, и цена в итоге устанавливается более низкая. Что касается объемов, то поначалу при любых заявках он значительно ниже, чем при ценопринимающих, однако в долгосрочной перспективе объемы выравниваются.
7П Г
Г<1 1Л ь и т ^г
пп го г^ гп по го
■Ценопринимающие заявки
Любые заявки
30000 25000
20000
со
15000
^ 10000
5000
Г^ЬОГ^С^^ГП^Г^С^^Г^ЬЛГ^С^^ГОЬОГ^О^НГПЬЛГ^С^^НГОЬЛГ^СО^Н 7ННННННННП1П1ГМП1^П1Г^П1ГГ)Г0Г0П1Г(1ГГ|
■Ценопринимающие заявки
Любые заявки
Рис. 3. Динамика равновесных цен (а) и объемов (б)
Теперь посмотрим, есть ли разница в целом. Обратимся к графикам общей прибыли, которую получили в совокупности (рис. 4). Динамика общей прибыли напоминает динамику общего объема: сначала для ценопринимающих заявок прибыль выше, однако со временем она выравнивается. И, наконец, посмотрим, как подача преимущественно ценопринимающих заявок скажется на распределении выигрыша между поставщиками и покупателями (рис. 5).
а
б
Рис. 4. Динамика общей прибыли поставщиков и покупателей
Рис. 5. Динамика доли выигрыша покупателей
Доля покупателей в общем выигрыше достаточно сильно зависит от того, можно ли подавать любые заявки. И если да, то их доля будет около 60 %, иначе она составит лишь немногим более 40 %.
Заключение
В результате описания и анализа рынка электроэнергии стало ясно, что моделировать имеет смысл именно рынок на сутки вперед. Это так, потому что сектора регулируемых договоров и свободных двусторонних договоров слишком примитивны, а балансирующий рынок устроен так, что поставщикам и покупателям всегда выгодно выполнять просьбу администратора торговой системы и стараться минимизировать собственные отклонения, что и является их оптимальной стратегией. Хотя в дальнейшем возможно одновременное моделирование рынка на сутки вперед и балансирующего рынка при предположении о том, что какой-либо агент может с достаточной степенью уверенности предсказать цены на рынке
на сутки вперед и то, в какую сторону от планового производства администратор торговой системы попросит этого агента отклониться. В таком случае агентом может быть избрана стратегия, которая не будет совпадать со стратегией, указанной выше.
При изучении проведенных ранее исследований подтвердилось предположение о том, что имеет смысл моделировать именно рынок на сутки вперед. Было обнаружено, что генетическим алгоритмам при агент-ориентированном моделировании рынка электроэнергии предпочитают алгоритмы обучения с подкреплением. Также выяснено, что моделируются в качестве агентов в основном поставщики. В модели, которая строится в данной работе, учитываются и покупатели. Кроме того, агент-ориентированных моделей рынка электроэнергии России пока нет, что подтвердило важность проводимого исследования.
На этапе сбора и адаптации реальных данных стало известно о том, что необходимая информация является коммерческой тайной компаний. Таким образом, было принято решение о сборе всей доступной информации и имитации данных, приближенных к реальным, на ее основании. Подтверждением корректности имитации данных является динамика равновесной цены, полученная в результате первой компьютерной симуляции, которая является основной. В целом, она совпадает со средним уровнем цены во второй ценовой зоне. То же самое можно сказать и о среднем объеме.
Были проведены две симуляции построенной модели (для двух массивов данных) и сделано несколько наблюдений.
1. Если агенты, за исключением некоторых поставщиков, подают ценопринимающие заявки, равновесная рыночная цена увеличивается.
2. Если агенты, за исключением некоторых поставщиков, подают ценопринимающие заявки, доля выигрыша покупателей снижается почти на 20 %.
3. Если агенты могут подавать любые заявки, колебания цены снижаются.
4. Если агенты могут подавать любые заявки, уровень общей прибыли и объема производства в долгосрочной перспективе станут такими же, как если бы агенты, за исключением некоторых поставщиков, подавали ценопринимающие заявки.
Сделанные наблюдения позволяют предположить, что разрешение агентам, которые способны обучаться, подавать любые заявки позволило бы покупателям приобретать тот же объем по более низкой цене и, таким образом, перераспределять общественный выигрыш в пользу покупателей, а потенциально может увеличиться и выигрыш розничных потребителей (физические и юридические лица).
В завершение можно обозначить дальнейшие возможности развития и использования данной модели. Когда начался процесс моделирования, стало ясно, что алгоритм Эрева - Рота должным образом не отражает обучение каждому правилу в отдельности, т. е. не понятно, насколько агент уверен в выигрыше при выборе правила. Кроме того, обучение происходит достаточно медленно. Поэтому необходимо модифицировать алгоритм Эрева - Рота таким образом, чтобы решить указанные проблемы.
Список литературы
1. Hobbs B. F., Metzler C. B., Pang J. S. Strategic gaming analysis for electric power systems: an mpec approach // IEEE Transactions on Power Systems. 2000. Vol. 15. № 2. P. 638-645.
2. Лисин E. М., Стриелковски В., Григорьева А. H., Анисимова Ю. А. Современные подходы к разработке моделей рынков электроэнергии и исследованию влияния рыночной силы на конъюнктуру энергорынка // Вектор науки ТГУ. 2013. № 1 (23). С. 188-197.
3. Макаров В. Л. , Бахтизин А. Р. Новый инструментарий в общественных науках - агент-ориентированные модели: общее описание и конкретные примеры // Экономика и управление. 2009. № 12. С. 13-25.
4. Bonabeau E. Agent-based modeling: Methods and techniques for simulating human systems. National Academy of Science, 2002.
5. Wooldridge M., Jennings N. Intelligent agents: Theory and practice // Knowledge Engineering Review. 1995. Vol. 10. № 2.
6. Li H., Tesfatsion L. The AMES wholesale power market test bed: a computational laboratory for research, teaching and training. Iowa State University, Ames, 2009.
7. Nicolaisen J., Smith M., Petrov V., Tesfatsion L. Concentration and capacity effects on electricity market power. Proceeding of the 2000 Congress on Evolutionary Computation, La Jolla. USA, 2000. P. 1041-1047.
8. Nicolaisen J., Petrov V., Tesfatsion L. Market power and efficiency in a computational electricity market with discriminatory double-auction pricing // IEEE Transactions on Evolutionary Computation. 2001. Vol. 5. № 5. P. 504-523.
9. Bower J., Bunn D.W. Model-based comparison of pool and bilateral markets for electricity // Energy Journal. 2000. Vol. 21. № 3. P. 1-21.
10. Bower J., Bunn D.W., Wattendrup C. A model-based analysis of strategic consolidation in the German electricity industry // Energy Policy. 2001. Vol. 29. № 12. P. 987-1005.
11. Weidlich A., Veit D. Bidding in interrelated day-ahead electricity markets: Insights from an agent-based simulation model // Proc. of the 29th IAEE International Conference. Potsdam, 2006.
12. Weidlich A., Veit D. A critical survey of agent-based wholesale electricity market models // Energy Economics. 2008. Vol. 30. № 4. P. 1728-1759.
13. Bower J., Bunn D. W. Experimental analysis of the efficiency of uniform-price versus discriminatory auctions in the England and Wales electricity market // Journal of Economic Dynamics and Control. 2001. Vol. 25. № 3-4. P. 561-592.
14. Zhou Z., Chan W. K., Chow J. H. Agent-based simulation of electricity markets: a survey of tools // Artificial Intelligence Review. 2007. Vol. 28. № 4. P. 305-342.
15. Liu Z., Yan J., Shi Y., Zhu K., Pu G. Multi-agent based experimental analysis on bidding mechanism in electricity auction markets // International Journal of Electrical Power & Energy Systems. 2012. Vol. 43. № 1. P. 696-702.
16. Erev I., Roth A. E. Predicting how people play games: Reinforcement learning in experimental games with unique, mixed strategy equilibria // The American Economic Review. 1998. Vol. 88. № 4. P. 848-881.
17. Roth A. E., Erev I. Learning in extensive-form games: experimental data and simple dynamic models in the intermediate term // Games and Economic Behavior. 1995. № 8. P. 164-212.
Материал поступил в редколлегию 24.11.2016
Приложение 1
Алгоритм поиска равновесной цены и объема
Пусть с е {1,..., Ыс} - это номера покупателей, g е {1,..., } - это номера поставщиков электроэнергии. Ценовые заявки покупателей, поданные администратору торговой системы, обозначаются как (рС, дс.) для 7 от 1 до N, а поставщиков - (pg, ^) для 7 от 1 до Ыа .
При построении совокупного спроса пары цена-объем от покупателей упорядочиваются по цене рС (от максимальной к минимальной). Теперь максимальной цене присвоено обозначение Р1С, следующей по величине - Р2С и т. д. (минимальной - РСс ).
Тогда совокупный спрос, при QN = ^ N.Cqc, равен
Qc =
0, p > P^
qc , pc > p > p*1, i e{1,..., NC },
QCNC, Pcc > P >0
гдеРс > Р2С > ... > РСс .
Аналогично строится и кривая совокупного предложения, но цены упорядочиваются от минимальной к максимальной:
08 =
0, Р8 > Р
08, Р«> Р > Р8,i е{1,..., Ма},
0° Р > Р8
где Р18 <Р28 <... <Р8 .
О
Пусть к е [1;....; Ыс ], п е [1;...; N° ]. Если найдутся такие к и п, что выполняется
{ 01 > 0п8 | Рп8+1> РС > Рп8'
то равновесный объем 0* = 0!, а цена Р* = РЦ .
В противном случае 0 = 01, а Р = Рп8 для таких к и п, что
{ 0С < 0!
IРС > Рп8 > Р/+/
Затем найденный 0 проверяется на допустимость:
0*=шп (0*, 01
0*= тт{0',0*с } .
0*= тт(,0*с }, Р*= РСс
Далее определяются равновесные объемы для каждого агента. Для поставщиков:
08, 08 ^ 0*
08 =•
0* - 0*1, 08 > 0*
где а8* = * = 0.
Для покупателей
д8* = 08* - 08-1,
0Г=-
0С, 0С < 0*
0* - 0С-1,0С > 0*
ч:* = 0С - 0Г-1,
где 0о* = Чо* = 0 .
В итоге упорядочиваем полученные равновесные объемы по номерам агентов и получаем д8 для I от 1 до N° и дС для I от 1 до Ыс, которые АТС сообщает каждому агенту.
Приложение 2
Алгоритм Эрева - Рота
Пусть J - количество возможных действий (в данном случае это наборы стандартных ценовых заявок). Тогда ] - некоторое действия из набора (1,..., J), а к* - действие из набора (1,..., J), совершенное в периоде *. Склонность выбрать любое действие ] в периоде * + 1 вычисляется следующим образом:
(1 - f )• stj +
[Я'+1 -(1 -е), з = к* г е . 1( ,
3--, з * к
3 з -1
где / - это параметр новизны (насколько сильно агент предпочитает не выбирать действие, как в предыдущем периоде); е - параметр эксперимента (насколько сильно агент любит применять пробные действия для наращивания собственного опыта); Я - это и есть подкрепление. Оно может вычисляться как Я'+1 = -ятш, где - это выигрыш в предыдущем периоде, а лтш - это наименьший возможный выигрыш.
Тогда вероятность выбора действия 3 считается следующим образом:
р = з
J IЛ+1
Рот и Эрев предлагают использовать следующие параметры: f = 0,1; e = 0,2. В качестве склонности Sj будет взята ожидаемая прибыль в первом периоде П1. Для поставщиков определяется следующим образом:
^min = min {ßmax (Pmrn " C) ; ßmrn (Pmm " C) ; 0] ,
а для покупателей
^min = min {ßmax (r " Pmax ) ; ßmin (Г " Pmax ) ;0} .
E. A. Rashidova
Novosibirsk State University 1 Pirogov Str., Novosibirsk, 630090, Russian Federation
AGENT-BASED MODELING OF WHOLESALE ELECTRICITY MARKET
The article investigates the free electricity market via agent-based modeling. The aim is to create a simple and quite plausible simulation model of the market, where suppliers and buyers, participating in the bilateral auction, learn to submit the most profitable bids. Whereas this kind of simulation models has been developed for the EU and USA markets by foreign researchers, for the Russian market they have not been made yet. The suggested theoretical agent-based model of interaction in the day-ahead market uses Erev and Roth learning algorithm and allows us to calculate and analyze equilibrium price, volume, social welfare and its distribution between buyers and sellers of electricity. The modeling demonstrates that it is possible to lower prices and redistribute social welfare in favor of buyers, provided that the learning agents can submit any bids.
Keywords: agent-based modeling, learning agents, wholesale electricity market, day-ahead market.
References
1. Hobbs B. F., Metzler C. B., Pang J. S. Strategic gaming analysis for electric power systems: an mpec approach. IEEE Transactions on Power Systems, 2000, vol. 15, no 2, p. 638-645.
2. Lisin E. M., Strielkovski V., Grigor'eva A. N., Anisimova Ju. A. Sovremennye podhody k razrabotke modelej rynkov elektroenergii i issledovaniju vlijanija rynochnoj sily na konjunkturu energorynka [Modern approaches to modeling electricity markets and studying of the market forc-
es' influence on the situation on the energy market]. Vektor nauki TGU[Science vector TSU], 2013, no. 1 (23), p. 188-197.
3. Makarov V. L., Bahtizin A. R. Novyj instrumentarij v obshestvennyh naukah - agent-orientirovannye modeli: obshee opisanie i konkretnye primery [New tools in the social sciences -agent-based models: general description and specific examples]. Ekonomika i upravlenie [Economics and management], 2009, no. 12, p.13-25.
4. Bonabeau E. Agent-based modeling: Methods and techniques for simulating human systems. National Academy of Science, 2002.
5. Wooldridge M., Jennings N. Intelligent agents: Theory and practice. Knowledge Engineering Review, 1995, vol. 10, no 2.
6. Li H., Tesfatsion L. The AMES wholesale power market test bed: a computational laboratory for research, teaching and training, Iowa State University, Ames, 2009.
7. Nicolaisen J., Smith M., Petrov V., Tesfatsion L. Concentration and capacity effects on electricity market power. Proceeding of the 2000 Congress on Evolutionary Computation, La Jolla, USA,2000, p. 1041-1047.
8. Nicolaisen J., Petrov V., Tesfatsion L. Market power and efficiency in a computational electricity market with discriminatory double-auction pricing. IEEE Transactions on Evolutionary Computation, 2001, vol. 5, no 5, p. 504-523.
9. Bower J., Bunn D. W. Model-based comparison of pool and bilateral markets for electricity. Energy Journal, 2000, vol. 21, no 3, p. 1-21.
10. Bower J., Bunn D.W., Wattendrup C. A model-based analysis of strategic consolidation in the German electricity industry. Energy Policy, 2001, vol. 29, no 12, p. 987-1005.
11. Weidlich A., Veit D. Bidding in interrelated day-ahead electricity markets: Insights from an agent-based simulation model. Proceedings of the 29th IAEE International Conference, Potsdam, 2006.
12. Weidlich A., Veit D. A critical survey of agent-based wholesale electricity market models. Energy Economics, 2008, vol. 30, no 4, p. 1728-1759.
13. Bower J., Bunn D. W. Experimental analysis of the efficiency of uniform-price versus discriminatory auctions in the England and Wales electricity market. Journal of Economic Dynamics and Control, 2001, vol. 25, no 3-4, p. 561-592.
14. Zhou Z., Chan W. K., Chow J. H. Agent-based simulation of electricity markets: a survey of tools. Artificial Intelligence Review, 2007, vol. 28, no 4, p. 305-342.
15. Liu Z., Yan J., Shi Y., Zhu K., Pu G. Multi-agent based experimental analysis on bidding mechanism in electricity auction markets. International Journal of Electrical Power & Energy Systems, 2012, vol. 43, no 1, p. 696-702.
16. Erev I., Roth A. E. Predicting how people play games: Reinforcement learning in experimental games with unique, mixed strategy equilibria. The American Economic Review, 1998, vol. 88, no 4, p. 848-881.
17. Roth A. E., Erev I. Learning in extensive-form games: experimental data and simple dynamic models in the intermediate term. Games and economic behavior, 1995, no 8, p. 164-212.
For citation:
Rashidova E. A. Agent-Based Modeling of Wholesale Electricity Market. World of Economics and Management, 2017, vol. 17, no. 1, p. 70-85. (In Russ.)
