GPT модели как инструмент тестировщика
На сегодняшний день GPT-модели стали не просто полезным, но практически обязательным инструментом в арсенале современного тестировщика. Искусственный интеллект уже существенно изменил для нас подходы к тестированию ПО, и модели вроде ChatGPT могут заметно ускорить повседневные задачи, такие как генерация тест-кейсов, написание сценариев и даже помощь в автоматизации рутинных процессов.
Лично я предпочитаю ChatGPT, но, честно говоря, исключительно потому что я ленивенькая. Пробовала разные платформы, и именно ChatGPT показался мне самым удобным и функциональным. Это, конечно, вопрос привычки — мы с ней уже почти два года, за это время “притерлись” друг к другу. В конце концов, важно, чтобы инструмент помогал именно вам и отвечал вашим требованиям.
Так что я не утверждаю, что ChatGPT — безоговорочно лучший выбор. ИИ-разработок сейчас множество, и у каждой свои преимущества. Подбирайте подходящий инструмент под свои задачи и потребности — именно это обеспечит максимальную пользу от использования GPT-моделей в тестировании.
Сравнение моделей
| Модель | Разработчик | Дата запуска | Количество параметров | Поддерживаемые языки | Особенности |
|---|---|---|---|---|---|
| ChatGPT | OpenAI | Ноябрь 2022 | GPT-4o: 100 трлн | 85–106 | Широкий спектр задач, включая генерацию текста, кода, ответов на вопросы. |
| Google Bard | Март 2023 | Gemini 1.5 Flash: 137 млрд | 46 | Быстрые ответы, интеграция с поиском Google, поддержка множества языков. | |
| Claude | Anthropic | Июль 2023 | Не раскрыто | Английский | Сфокусирован на безопасности и этике, предназначен для безопасного взаимодействия с ИИ. |
| Grok-2 | xAI (Илон Маск) | Август 2024 | Не раскрыто | Английский | Интеграция с платформой X, ориентирован на интуитивное взаимодействие и точность ответов. |
| GigaChat | Сбербанк | Апрель 2023 | Не раскрыто | Русский | Оптимизирован для русского языка, поддержка генерации текста и кода. |
| Chinchilla | DeepMind | Март 2022 | 70 млрд | Английский | Оптимизирован для эффективности, превосходит GPT-3 по ряду задач. |
| LLaMA | Meta Platforms | Февраль 2023 | 65 млрд | Английский | Открытая модель, предназначенная для исследовательских целей. |
| Gemini | Google DeepMind | Декабрь 2023 | Не раскрыто | Английский | Превосходит GPT-4 по многим показателям, интеграция с продуктами Google. |
Доступ к моделям из РФ
Для пользователей из России есть некоторые ограничения в доступе к иностранным AI-сервисам, включая ChatGPT и некоторые другие модели. Однако, с использованием VPN и при выборе доступных в России моделей можно обойти эти ограничения. Вот инструкция для пользователей в РФ, чтобы они могли пользоваться популярными моделями.
1. Использование ChatGPT и Google Bard
ChatGPT и Google Bard неофициально доступны в России, но для доступа может понадобиться VPN. Рассмотрим, как безопасно и удобно ими пользоваться.
Как получить доступ:
- Шаг 1: Установите надежный VPN-сервис, например, NordVPN, ExpressVPN или ProtonVPN, и подключитесь к серверу в стране, где доступен ChatGPT или Google Bard (например, в США или странах Европы).
- Шаг 2: Зарегистрируйтесь на официальных сайтах OpenAI или Google Bard. В некоторых случаях может потребоваться зарубежный номер телефона для верификации. Это можно сделать через сервисы виртуальных номеров, например, Twilio или SMS-активаторы.
- Шаг 3: Войдите в ChatGPT или Google Bard и пользуйтесь ими как обычно. Не забывайте каждый раз подключать VPN перед началом сеанса.
- Альтернатива: платные сервисы доступа сразу к разным чатам (тут рекомендаций не будет, так как я не проверяла их.
Обратите внимание:
- Чаще всего доступ к ChatGPT возможен через официальное приложение OpenAI
- Google Bard доступен на Google-сервисах и может быть интегрирован с Google Chrome.
2. Использование Claude, Chinchilla, LLaMA
Эти модели пока что имеют более ограниченную доступность для прямого использования и в основном доступны через VPN и API для исследовательских целей.
Как использовать:
- Claude и Chinchilla: Доступны через специальные платформы и часто требуют регистрации и приглашения, особенно в случае Claude от Anthropic. Опять же, VPN помогает обойти геоблокировки.
- LLaMA от Meta Platforms: Эта модель является открытой, и её код доступен в формате исследовательской версии. Hugging Face предоставляет возможность использовать LLaMA через API или запустить её на своих серверах. Нужно будет также установить VPN при скачивании и работе с ней.
3. GigaChat от Сбербанка
Для пользователей из России GigaChat является самой удобной альтернативой ChatGPT. Модель от Сбербанка оптимизирована для русского языка и может использоваться без VPN.
Как подключиться:
- Зайдите на платформу Сбербанка GigaChat и создайте учетную запись.
- После регистрации можно сразу использовать GigaChat для генерации текста, написания кода и других задач.
- GigaChat доступен бесплатно, но на некоторые функции могут накладываться ограничения в зависимости от трафика и нагрузки на серверы.
4. Gemini (Google DeepMind)
Gemini, новая модель от Google, пока доступен в ограниченном числе стран. Для доступа к Gemini, пользователям из России также потребуется VPN и, возможно, активация с зарубежного телефона.
5. Общие рекомендации по безопасности
- Защита данных: Пользуйтесь проверенными VPN-сервисами и избегайте хранения конфиденциальной информации в облачных сервисах ИИ, так как они могут хранить и обрабатывать передаваемые данные.
- Обновления и патчи: Следите за обновлениями VPN и самих ИИ-сервисов, чтобы пользоваться актуальными версиями с последними мерами безопасности.
- Анонимизация: Если работа связана с конфиденциальной информацией, используйте обезличенные данные и не передавайте в запросах данные пользователей или сотрудников.
Безопасность данных
Прежде, чем раздавать советы как пользоваться моделями, хочу напомнить, что мы не имеем права разглашать данные компании и клиентов, в том числе выдавать наружу код, закрытые данные и особенно – данные наших клиентов. Вот основные меры для защиты данных компании при работе с ChatGPT:
1. Минимизация конфиденциальных данных в запросах
- Избегайте передачи личных данных или данных клиентов в запросах. По возможности используйте обезличенные данные или подставные примеры, чтобы исключить утечку конфиденциальной информации.
- Исключите специфичные идентификаторы и ключи (например, API-ключи или доступ к внутренним системам) из запросов.
2. Анонимизация данных
- При необходимости обсуждать данные, которые могут содержать важную информацию, используйте анонимизацию: замените реальные имена, цифры, и другие идентифицирующие атрибуты на нейтральные обозначения.
3. Локальные модели вместо облачных сервисов
- Если вопрос безопасности стоит особенно остро, стоит рассмотреть возможность использования локальной версии ChatGPT. Запуск модели на локальных серверах, без связи с внешними облачными сервисами, позволит полностью контролировать данные и избежать их потенциального распространения.
4. Регулярные проверки и мониторинг данных
- Периодически проверяйте журналы активности – это поможет выявить попытки запроса конфиденциальной информации.
- Проведите аудит данных – убедитесь, что ваши данные не сохраняются без необходимости и что политика их удаления в ChatGPT настроена правильно.
5. Внимание к уязвимостям ChatGPT
- ChatGPT в облачном формате — это все еще сравнительно новая технология, и у неё могут быть уязвимости. Следите за обновлениями и уведомлениями о безопасности от OpenAI или других разработчиков, чтобы своевременно получать обновления и патчи безопасности.
6. Заключение соглашения о конфиденциальности
- Убедитесь, что у вас и у разработчика ChatGPT (например, OpenAI) есть соглашение о конфиденциальности и безопасном обращении с данными. Это необходимо для регулирования вопросов ответственности и обязательств в случае инцидентов с безопасностью.
О пользе ChatGPT в тестировании (и немного о вреде)
ChatGPT, разработанный OpenAI, инструмент мощный, способный значительно облегчить задачи тестирования. Но пользоваться им надо с применением критического мышления, так как он совершенно точно не панацея. Попробую рассказать, где ChatGPT может быть полезен, а где его использование менее эффективно.
Где ChatGPT полезен
Генерация тестовых сценариев и кейсов.
ChatGPT способен быстро создавать разнообразные тестовые сценарии на основе предоставленных требований. Это ускоряет процесс подготовки к тестированию и помогает охватить различные сценарии использования. Полезность примерно 70% (он может написать нерелевантные сценарии, которые придется тщательно перебирать)Создание автоматизированных тестов и написание скриптов
Модель может генерировать код для автоматизированных тестов, включая юнит-тесты и тесты пользовательского интерфейса, а также скрипты для постмана, скрипты для заполнения полей на сайте и т.п. Полезность около 90% – он не очень хорошо справляется с созданием фреймворка тестирования, но отлично – с написанием тестов и скриптов.Генерация тестовых данных.
ChatGPT может создавать разнообразные тестовые данные, включая граничные значения и негативные сценарии. На простых данных работает идеально, на более запутанных придется постараться. Полезность около 70% – иногда может сделать всю рутину за вас, иногда не справится даже с пятой ее частью.Анализ и проверка документации.
Модель способна анализировать техническую документацию, выявлять возможные несоответствия и предлагать улучшения, что повышает качество документации и снижает вероятность ошибок. Вот тут модель действительно на своем месте, находит нестыковки.Написание SQL запросов
ChatGPT отлично пишет запросы любой сложности, причем описание БД можно в нее закинуть скринами.
Где ChatGPT дает слабину?
Понимание контекста и специфики проекта
Модель не обладает знанием специфики вашего проекта или бизнес-логики, что может привести к созданию нерелевантных или неполных тестов. Вариант – создавать отдельный чат по проекту и загружать в него всю информацию, чтобы накопить данные. Причем модель может даже простые объяснения простым языком принимать, и сообщения из чатов скринами.Ограниченность в работе с интерфейсами
ChatGPT не может взаимодействовать с графическим интерфейсом пользователя или выполнять действия в реальном времени, что ограничивает его применение в тестировании UI/UX. Но может принять скрины и найти какие-то нестыковки.Необходимость дополнительной проверки
Сгенерированные моделью тесты и данные требуют тщательной проверки и возможной доработки, так как они могут содержать ошибки или быть неполными. Точнее даже не МОГУТ, а гарантированно СОДЕРЖАТ ОШИБКИ.Отсутствие доступа к реальным системам
ChatGPT не имеет доступа к вашим системам или базам данных, что ограничивает его возможности в проведении интеграционного или системного тестирования.
Рекомендации по использованию ChatGPT в QA процессах
Четко формулируйте запросы. Чем конкретнее и детальнее вы опишете задачу, тем более релевантный ответ вы получите.
Проверяйте результаты. Всегда проверяйте сгенерированные тесты и данные перед их использованием, чтобы убедиться в их корректности и полноте.
Используйте как вспомогательный инструмент. Рассматривайте ChatGPT как помощника, а не как замену профессиональному тестированию. Он может ускорить некоторые процессы, но не заменит человеческий анализ и интуицию.
Обучение и адаптация. Используйте ChatGPT для обучения и получения новых идей, но адаптируйте его выводы под специфику вашего проекта и команды.
Как правильно составлять промпты?
Чтобы эффективно использовать любую из моделей в тестировании, важно правильно формулировать запросы (промпты). С ней, конечно, можно даже ругаться, но это не всегда помогает, поэтому попробуйте терпеливо загрузить в нее все, что есть, и тогда она ответит на ваш запрос максимально точно.
Четко определяйте цель запроса. Перед обращением к модели сформулируйте, какой результат вы ожидаете. Это поможет получить более точный и релевантный ответ.
Предоставляйте контекст. Обеспечьте модель необходимой информацией о проекте, системе или функциональности, которую вы тестируете. Чем больше деталей, тем точнее будет ответ. Она принимает таблицы, скриншоты, файлы, код. Больше того – она принимает даже голосовые сообщения (в отличие от ваших коллег).
Используйте пошаговые инструкции. Если задача сложная, разбейте ее на этапы и попросите модель выполнить их последовательно. Это поможет избежать пропуска важных шагов.
Просите уточняющие вопросы. Если вы не уверены, что предоставили всю необходимую информацию, предложите модели задать вам наводящие вопросы для сбора недостающих данных. Это обеспечит более точный и полезный ответ. Я бы даже рекомендовала при каждом старте новой задачи просить задать вопросы.
Указывайте формат ответа. Если вам нужен ответ в определенном формате (например, список, таблица или код), укажите это в запросе.
Приводите примеры. Если вы ожидаете определенный тип ответа, предоставьте пример. Это поможет модели лучше понять ваши ожидания и сгенерировать соответствующий ответ.
Учитывайте ограничения модели. Помните, что ChatGPT может не иметь доступа к актуальной информации или специфическим данным вашего проекта. Используйте его как вспомогательный инструмент, а не как единственный источник истины.
Проверяйте и уточняйте ответы. После получения ответа внимательно его изучите. Если что-то непонятно или требует уточнения, задайте дополнительные вопросы или переформулируйте запрос.
Язык оптимально – английский. Но ChatGPT прекрасно выдает ответы на русском и понимает тоже. Просто надо держать в уме, что она изнутри переводит ваш запрос на английский, обрабатывает его, а ответ переводит с английского на русский.
Вам также может понравиться
Чит-листы и шпаргалки для тестирования
