V4 Выполняет не все тесты, если установлен фиксированный порядок тестов

[EvilBeaver]

Коллеги, не знаю с чем связано, уже устал искать.

Есть версия раннера 4 и есть задача прогнать тесты в заданном порядке. Есть командная строка для ЗагрузчикФайла и тесты туда передаются через массив строк:

"C:\Program Files (x86)\1cv8\8.3.4.408\bin\1cv8.exe" ENTERPRISE /F"c:\Users\aovsyankin\Desktop\testxUnit\v8r_TempDB" /RunModeManagedApplication /Out"c:\Users\aovsyankin\Desktop\testxUnit\log.txt" /WA+ /DisableStartupMessages /DisableStartupDialogs /Execute"c:\Users\aovsyankin\Documents\GITs\xUnitFor1C\xddTestRunner.epf" /AllowExecuteScheduledJobs -Off /C"xddRun ЗагрузчикФайла c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест1.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест2.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест3.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест4.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест5.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\ТестД6.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест7.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тесты8.epf
c:\Users\aovsyankin\Documents\GITs\ntvr\tests\Тест9.epf;xddShutdown;xddReport ГенераторОтчетаJUnitXML c:\Users\aovsyankin\Desktop\testxUnit\logtest.xml"

Есть код загрузчика ЗагрузчикФайла:

Так вот, если выделенный комментарий раскомментировать, то прогоняет только первые три теста из списка. Если закоментировать - то прогоняет все 9, но в рандомном порядке.

Догадываюсь, что может быть завязано на конкретику тестов, но убейте не понимаю как.
@artbear и @wizi4d могут догадаться, что тесты интимные, и приложить к задаче я их не могу, но я могу передать частным порядком.

[artbear]

@EvilBeaver

• Тесты в обработках как добавляются? через ПолучитьСписокТестов или ЗаполнитьНаборТестов ?
• в коде самих тестов есть использование НачатьГруппу ?

[EvilBeaver]

ПолучитьСписокТестов

[artbear]

Пробовал убирать тесты - двоичный поиск для поиска "плохого" теста ?
Честно говоря, для меня сюрприз, что у нас по умолчанию может быть настроен рандомный порядок выполнения тестов :)
Подождем @wizi4d

[EvilBeaver]

там нет "плохого", т.к. желаемый порядок был получен "рандомным" прохождением, а потом его потребовалось воспроизвести. Но повторить запуск с фиксированным порядком не получается.

[wizi4d]

Все понятно, это не баг, это фича! Все объясняет следующий код:

            Если Не КонтейнерДереваТестов.СлучайныйПорядокВыполнения И ДочернийРезультатТестирования.Состояние <> Объект.СостоянияТестов.Пройден Тогда
                Прервать;
            КонецЕсли;

Если тесты выполняются в строгом порядке, то не имеет смысла продолжать шаги, если один из шагов упал.

Артур, а что тебя удивило в дефолтном поведении? Вроде так и планировали, что по умолчанию случайный порядок.

[artbear]

Артур, а что тебя удивило в дефолтном поведении? Вроде так и планировали, что по умолчанию случайный порядок.

Я почему-то считал, что у нас запуск в случайном порядке опционален.
Лады, по этому поводу понятно.

Но как помочь @EvilBeaver с его задачей прогнать тесты в заданном порядке, причем это разные тестовые наборы/файлы ?

Я, конечно, давно уже размышляю о возможности строить связанные сценарии с помощью разных тестовых наборов/файлов, но пока никакое решение не принял.

[artbear]

Андрей, а напиши в личку (Hangouts нам с Женей), что за проблему вы встретили на тестов ntv...?
У вас точно тесты не связаны, например, через общие изменяемые данные?

[wizi4d]

Эм, я думал, что уже все объяснил 😄
Дело в том, что у @EvilBeaver падает третий тест, что приводит к остановке выполнения в контейнере со строгим порядком.

[artbear]

Ах да, ты говоришь с учетом поведения с помощью указанной строки кода.
А я говорю про поведение в ветке reborn, в которой этой строки на самом деле нет :)

Может быть, нам всем подумать над фичей сценарного выполнения тестов из разных наборов? и тогда @EvilBeaver не нужно будет фреймворк менять, что не гуд.

[wizi4d]

Тебя куда-то не туда занесло имхо.
Насколько я понял, @EvilBeaver решает разовую локальную задачу. И это НЕ надо добавлять во фреймворк.

[EvilBeaver]

@wizi4d это плохая фича, ибо если есть неявная зависимость между тестами, которую надо устранить, то это вообще нельзя сделать на 4-й версии. Да, там посередине падучий тест, но у меня хрень с транзакциями где-то позже, я с падучим тестом позже разберусь. Как мне это сделать?

Ну т.е. за строчку кода спасибо, но вот такой кейс - прогона N тестов в заданном порядке и полностью - это вообще не поддерживается. Имхо, поведение при котором падение одного теста останавливает весь контейнер - неправильное.

[artbear]

Я специально, до в4, реализовывал возможность использования двойного поведения - тот порядок загрузки, что и у разработчика тестов, и случайный порядок тестов.

ИМХО Оба варианта использования бывают полезны, что и показывает текущая проблема.

@wizi4d @EvilBeaver давайте придем к какому-то решению!

[wizi4d]

Давайте рассмотрим поведение режима со строгим порядком. Он предназначен
для случаев, когда есть некий порядок шагов, который нельзя нарушать.
Назовем это СЦЕНАРИЙ. Теперь предположим сценарий состоит из 5 шагов. Если
по какой-то причине 3-ий шаг выполнить нельзя, зачем выполнять 4 и 5?
Сценарий уже нарушен.
С этой точки зрения поведение верное.
Вменяемого случая, когда нужно продолжать сценарий, я придумать не могу.

Теперь вернемся к конкретному случаю. По сути строгий порядок используется
несколько необычным способом, для поиска бага (неявная зависимость).
Варианты решения без порчи обозначеного выше проведения:

1. Убрать из сценария подающий шаг (раз его падение считается не важным)
2. Если шаг все же нужный с точки зрения влияния на другие шаги, то можно
   убрать из шага утверждения и он перестанет быть падающим и сценарий сможет
   быть продолжен

Изменение поведения у строгого порядка выполнения считаю костылем.

Артур, твой коммент не понял совсем.

15:51, Пн, 08.02.2016, Artur Ayukhanov notifications@github.com:

Я специально, до в4, реализовывал возможность использования двойного
поведения - тот порядок загрузки, что и у разработчика тестов, и случайный
порядок тестов.

ИМХО Оба варианта использования бывают полезны, что и показывает текущая
проблема.

@wizi4d https://github.com/wizi4d @EvilBeaver
https://github.com/EvilBeaver давайте придем к какому-то решению!

—
Reply to this email directly or view it on GitHub
#598 (comment)
.

[Ndochp]

Фиксированный порядок это не всегда сценарий.
Я как разработчик у которого готов набор тестов на нереализованный
функционал хочу, чтобы отчет о падениях был в одном порядке на каждом
запуске набора тестов.
Сценария у меня реально нету, список ошибок мне нужен весь. Например я
знаю, что первый тест у меня еще падает, но второй и третий должны уже
проходить. С четвертого по двадцатый - снова падать.

8 февраля 2016 г., 23:32 пользователь Evgeniy Pavlyuk <
notifications@github.com> написал:

Давайте рассмотрим поведение режима со строгим порядком. Он предназначен
для случаев, когда есть некий порядок шагов, который нельзя нарушать.
Назовем это СЦЕНАРИЙ. Теперь предположим сценарий состоит из 5 шагов. Если
по какой-то причине 3-ий шаг выполнить нельзя, зачем выполнять 4 и 5?
Сценарий уже нарушен.
С этой точки зрения поведение верное.
Вменяемого случая, когда нужно продолжать сценарий, я придумать не могу.

Теперь вернемся к конкретному случаю. По сути строгий порядок используется
несколько необычным способом, для поиска бага (неявная зависимость).
Варианты решения без порчи обозначеного выше проведения:

1. Убрать из сценария подающий шаг (раз его падение стается не важным)
2. Если шаг все же нужный с точки зрения влияния на другие шаги, то можно
   убрать из шага утверждения и он перестанет быть падающим и сценарий сможет
   быть продолжен

Измение поведения у строгого порядка выполнения считаю костылем.

Артур, твой коммент не понял совсем.

15:51, Пн, 08.02.2016, Artur Ayukhanov notifications@github.com:

Я специально, до в4, реализовывал возможность использования двойного
поведения - тот порядок загрузки, что и у разработчика тестов, и
случайный
порядок тестов.

ИМХО Оба варианта использования бывают полезны, что и показывает текущая
проблема.

@wizi4d https://github.com/wizi4d @EvilBeaver
https://github.com/EvilBeaver давайте придем к какому-то решению!

—
Reply to this email directly or view it on GitHub
<
https://github.com/xDrivenDevelopment/xUnitFor1C/issues/598#issuecomment-181354221>

.

—
Reply to this email directly or view it on GitHub
#598 (comment)
.