--- title: Методы работы с данными seo: title: Методы работы с данными — QA description: "Тема «Методы работы с данными» для собеседования QA. Какие способы взаимодействия с API существуют? В чем разница между ними? Как можно протестировать API, что там нужно проверять?" --- [Все темы QA](/qa) ## Какие способы взаимодействия с API существуют? В чем разница между ними? [#q-14bee738d69b81468aa7c3da69bf1827] Взаимодействие с API (Application Programming Interface) может быть реализовано разными способами, каждый из которых подходит для различных сценариев использования. Вот некоторые из основных способов взаимодействия с API: {/* prettier-ignore */} 1. REST (Representational State Transfer): - Использует стандартные HTTP методы (GET, POST, PUT, DELETE). - Ориентирован на работу с ресурсами, где каждый URL представляет собой ресурс. - Может использовать различные форматы данных (чаще всего JSON). - Не сохраняет состояние между запросами, что облегчает масштабирование. 1. SOAP (Simple Object Access Protocol): - Строго определённый протокол, который обменивается информацией в формате XML. - Поддерживает расширенные функции безопасности и транзакционность. - Часто используется в корпоративных и финансовых приложениях, где требуется высокий уровень безопасности и надежности. 1. GraphQL: - Позволяет клиентам точно определять, какие данные им нужны. - Уменьшает количество запросов и объем передаваемых данных по сравнению с REST. - Использует единственный эндпоинт и обрабатывает запросы через спецификации, которые определяют структуру данных. 1. gRPC (Google Remote Procedure Calls): - Основан на HTTP/2, что позволяет устанавливать долгоживущие соединения и многократно использовать их для отправки потоков данных. - Использует бинарный формат (Protocol Buffers), что делает его более эффективным по сравнению с текстовыми API. - Подходит для микросервисной архитектуры, где важна высокая производительность и низкая задержка. 1. WebSocket: - Поддерживает двустороннее постоянное соединение между клиентом и сервером. - Идеален для приложений, требующих частых и быстрых обновлений в реальном времени, например, для онлайн-игр или чатов. #### Различия между ними: - Гибкость: REST и GraphQL предлагают большую гибкость в выборе форматов данных и структуры запросов, в то время как SOAP и gRPC более строги в этих аспектах. - Производительность: gRPC и WebSocket могут обеспечивать лучшую производительность для определенных задач за счет бинарного формата и постоянных соединений. - Функциональность: SOAP предоставляет комплексные возможности транзакционности и безопасности, что делает его предпочтительным в некоторых корпоративных средах. :::note[Ссылки для изучения] 1. [Способы взаимодействия с API](https://kaze.gitbook.io/qa-theory/web/kakie-sposoby-vzaimodeistviya-s-api-sushestvuyut-v-chem-raznica-mezhdu-nimi) ::: --- ## Как можно протестировать API, что там нужно проверять? [#q-14bee738d69b8179b64ff7f9963d2a83] Тестирование API (Application Programming Interface) включает в себя проверку различных аспектов взаимодействия между клиентом и сервером. Вот ключевые аспекты, которые необходимо учитывать при тестировании API: {/* prettier-ignore */} 1. Функциональность: - Проверка того, что API выполняет все функции в соответствии с требованиями спецификации. - Проверка корректности ответов API на запросы и корректность выполнения операций. 1. Надёжность: - Убедиться, что API может успешно обрабатывать различные типы запросов и нагрузки. - Тестирование на устойчивость к ошибкам и внезапным прерываниям связи. 1. Производительность: - Оценка времени отклика API и времени обработки запросов. - Тестирование производительности при различных уровнях нагрузки. 1. Безопасность: - Проверка на уязвимости, такие как SQL инъекции, XSS, CSRF, и разглашение данных. - Проверка аутентификации, авторизации, и защиты данных. 1. Совместимость: - Проверка того, что API правильно работает с различными версиями операционных систем, устройствами и другими API. 1. Масштабируемость: - Проверка способности API поддерживать растущее количество запросов и объем данных без потери производительности. 1. Интероперабельность: - Тестирование взаимодействия API с другими системами и компонентами, для которых предназначено API. 1. Удобство использования: - Проверка наличия и актуальности документации для разработчиков, использующих API. 1. Регрессионное тестирование: - Проверка, что новые изменения в API не влияют отрицательно на существующие функции. Для тестирования API обычно используются специализированные инструменты, такие как Postman, SoapUI, JMeter, а также автоматизированные скрипты на языках программирования, поддерживающих отправку HTTP-запросов и обработку ответов. :::note[Ссылки для изучения] 1. [Тестирование API](https://kaze.gitbook.io/qa-theory/web/kak-mozhno-protestirovat-api-chto-tam-nuzhno-proveryat) ::: --- ## Как расшифровывается CRUD? [#q-14bee738d69b8155aa3acb18633f5316] CRUD — это аббревиатура, которая обозначает четыре базовые операции, используемые при взаимодействии с данными в базах данных или других хранилищах информации. Вот расшифровка CRUD: - C reate: Создание новой записи. - R ead: Чтение или извлечение существующих данных. - U pdate: Обновление существующей записи. - D elete: Удаление существующей записи. Эти операции формируют основу для большинства систем, работающих с данными, и часто используются в API для обеспечения полного управления данными. :::note[Ссылки для изучения] 1. [Что такое CRUD](https://appmaster.io/ru/blog/grubye-operatsii-chto-takoe-grubye-operatsii#:~:text=CRUD%20%D0%A1%D0%BE%D0%BA%D1%80%D0%B0%D1%89%D0%B5%D0%BD%D0%B8%D0%B5%20%D0%BE%D1%82%20Create%2C%20Read%2C,%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85%20%D0%B8%D0%BB%D0%B8%20%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0%D0%BC%D0%B8%20%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85) ::: --- ## Чем отличается GET от POST? [#q-14bee738d69b81febb00f09df1f96a36] GET и POST — это два основных метода HTTP, используемых для отправки данных на сервер. Вот их ключевые отличия: {/* prettier-ignore */} 1. Назначение: - GET предназначен для получения данных с сервера. Обычно используется для запроса и извлечения информации, не влияя на данные. - POST используется для отправки данных на сервер, например, при создании или обновлении записей. 1. Безопасность и данные: - GET передает данные в URL (через строку запроса), что делает его менее безопасным, так как данные могут быть сохранены в журналах сервера или истории браузера. - POST обычно передаёт данные в теле запроса. Метод сам по себе не обеспечивает конфиденциальность: для защиты при передаче нужен HTTPS, а доступ и журналирование контролируются отдельно. 1. Ограничения на данные: - GET имеет ограничения на длину URL, что ограничивает количество данных, которые можно передать. - Максимальный размер тела POST зависит от ограничений клиента, прокси и сервера. 1. Кэширование и история: - GET может быть закэширован браузером и сохранен в истории, что удобно для повторных запросов, но может представлять проблемы с конфиденциальностью. - Ответ POST может кешироваться при явно заданных условиях, хотя поддержка такого кеширования ограничена. Выбор метода определяется семантикой операции, а не предположением об отсутствии истории. 1. Идемпотентность: - GET является идемпотентным, что означает, что многократное повторение запросов будет иметь тот же эффект, что и однократное выполнение. - POST не идемпотентен, так как каждое повторение запроса может привести к дополнительным изменениям данных. В общем, выбор между GET и POST зависит от задачи: GET используется для запросов данных, а POST — для передачи или изменения данных на сервере. :::note[Ссылки для изучения] 1. [Отличие GET от POST](https://kaze.gitbook.io/qa-theory/web/kakova-raznica-mezhdu-metodami-get-i-post) ::: --- ## Какие отличия между XML и JSON? [#q-14bee738d69b81a2b6e3da10f7aca998] XML и JSON — это два популярных формата данных, используемых для обмена информацией между системами. Вот их основные отличия: {/* prettier-ignore */} 1. Синтаксис: - XML (Extensible Markup Language): - Использует теги для обозначения элементов данных. - Поддерживает атрибуты для хранения информации. - Более сложная и громоздкая структура. - Пример: ```xml John 30 ``` - JSON (JavaScript Object Notation): - Использует пары "ключ-значение". - Поддерживает массивы и вложенные объекты. - Более простой и читаемый формат. - Пример: ```json { "name": "John", "age": 30 } ``` 1. Читаемость и простота: - JSON: - Легче для чтения и написания человеком. - Простой синтаксис делает его менее подверженным ошибкам. - XML: - Более сложный синтаксис. - Теги и атрибуты могут затруднять восприятие данных. 1. Поддержка типов данных: - JSON: - Поддерживает основные типы данных: строки, числа, массивы, объекты (словари), логические значения (true/false), и null. - XML: - Все данные представлены в виде строк, требуются дополнительные усилия для преобразования типов. 1. Размер данных: - JSON: - Обычно занимает меньше места по сравнению с XML из-за отсутствия избыточных тегов. - XML: - Более громоздкий из-за обилия тегов и атрибутов. 1. Схемы и валидация: - XML: - Поддерживает схемы (DTD, XSD) для строгой валидации структуры и содержимого документа. - JSON: - JSON Schema формально задаёт ограничения структуры и значений JSON. Для совместимости указывают диалект схемы и проверяют поддержку используемых ключевых слов валидатором. 1. Использование и совместимость: - JSON: - Широко используется в веб-приложениях и API из-за своей простоты и легкости интеграции с JavaScript. - XML: - Используется в различных стандартах и протоколах, включая SOAP, RSS, и многих других, благодаря своей гибкости и возможности строгой валидации. :::note[Ссылки для изучения] 1. [XML против JSON](https://www.guru99.com/ru/json-vs-xml-difference.html) ::: --- ## Какие знаете форматы передачи данных? [#q-14bee738d69b8105b0d3fd92a418f47c] Форматы передачи данных определяют, как информация структурируется и кодируется для обмена между системами. Вот несколько широко используемых форматов: {/* prettier-ignore */} 1. JSON (JavaScript Object Notation): - Легковесный текстовый формат, удобный для чтения и написания человеком. - Часто используется в веб-приложениях и API. - Пример: ```json { "name": "John", "age": 30 } ``` 1. XML (Extensible Markup Language): - Текстовый формат с тегами, используемый для представления сложных структур данных. - Поддерживает атрибуты и строгую валидацию с помощью схем. - Пример: ```xml John 30 ``` 1. YAML (YAML Ain't Markup Language): - Человеко-читаемый формат сериализации данных, часто используется в конфигурационных файлах. - Поддерживает вложенные структуры и имеет простой синтаксис. - Пример: ```yaml person: name: John age: 30 ``` 1. CSV (Comma-Separated Values): - Простой текстовый формат, где данные разделяются запятыми. - Часто используется для табличных данных и обмена данными между различными системами. - Пример: ```csv name,age John,30 ``` 1. Protobuf (Protocol Buffers): - Двоичный формат сериализации данных, разработанный Google. - Высокая эффективность и компактность по сравнению с текстовыми форматами. - Требует определения схемы (протофайл). 1. Avro: - Двоичный формат сериализации данных, разработанный Apache. - Хорошо подходит для использования с большими объемами данных и распределенными системами. - Требует схемы для сериализации и десериализации. 1. MessagePack: - Двоичный формат, предназначенный для компактного представления данных. - Поддерживает все основные типы данных, включая структуры и массивы. - Быстро и эффективно обрабатывается. 1. BSON (Binary JSON): - Двоичный формат, используемый в MongoDB. - Поддерживает встроенные типы данных, такие как даты и байтовые массивы. Эти форматы различаются по своим характеристикам, таким как читаемость, компактность, сложность и поддержка различных типов данных, что делает их подходящими для различных сценариев использования. :::note[Ссылки для изучения] 1. [Форматы передачи данных](https://kaze.gitbook.io/qa-theory/web/kakie-znaete-formaty-peredachi-dannykh) ::: --- ## Как происходит шифрование? [#q-14bee738d69b819c8a4dda917f6aa1b2] Шифрование — это процесс преобразования информации в нечитабельный формат, чтобы защитить её от несанкционированного доступа. Процесс шифрования и последующей расшифровки включает в себя несколько ключевых элементов: {/* prettier-ignore */} 1. Оригинальный текст (plaintext): - Исходная, незащищённая информация, которая нуждается в защите. 1. Алгоритм шифрования: - Математическая формула, которая используется для преобразования оригинального текста в зашифрованный текст (ciphertext). 1. Ключ шифрования: - Набор символов, который используется алгоритмом шифрования для изменения данных. Ключ может быть секретным (симметричное шифрование) или открытым/секретным парным ключом (асимметричное шифрование). 1. Зашифрованный текст (ciphertext): - Результат шифрования, который выглядит как случайная последовательность символов и не может быть прочитан без ключа. #### Основные типы шифрования: {/* prettier-ignore */} 1. Симметричное шифрование: - Использует один и тот же ключ для шифрования и расшифровки данных. - Быстрое и эффективное для обработки больших объемов данных. - Примеры: AES (Advanced Encryption Standard), DES (Data Encryption Standard). - Пример: ```text Plaintext: "Hello" Key: "secretkey" Ciphertext: "A1B2C3" ``` 1. Асимметричное шифрование: - Использует два различных, но математически связанных ключа: открытый ключ для шифрования и закрытый ключ для расшифровки. - Открытый ключ можно распространять, но нужно проверять его принадлежность получателю. Асимметричное шифрование не является автоматически более безопасным: безопасность зависит от схемы, параметров и управления ключами. - Примеры: RSA (Rivest-Shamir-Adleman), ECC (Elliptic Curve Cryptography). - Пример: ```text Plaintext: "Hello" Public Key: "publickey" Ciphertext: "Z1X2Y3" ``` #### Процесс шифрования: {/* prettier-ignore */} 1. Выбор алгоритма и ключа: - Выбор подходящего алгоритма шифрования и генерация ключа(ей). 1. Шифрование: - Применение алгоритма шифрования с использованием ключа к оригинальному тексту для получения зашифрованного текста. 1. Передача или хранение: - Зашифрованный текст передаётся или хранится в защищенном виде. 1. Расшифровка: - Получатель применяет алгоритм расшифровки с использованием соответствующего ключа для преобразования зашифрованного текста обратно в оригинальный текст. :::note[Ссылки для изучения] 1. [Шифрование данных](https://moscow.b2b.dom.ru/glossary/sifrovanie-dannyh) ::: --- ## Какие бывают виды баз данных? [#q-14bee738d69b8174bbedeea2eed964e1] Базы данных бывают разных типов, каждый из которых предназначен для определенных сценариев использования и имеет свои особенности. Вот основные виды баз данных: {/* prettier-ignore */} 1. Реляционные базы данных (RDBMS): - Основаны на таблицах, в которых данные хранятся в строках и столбцах. - Используют SQL (Structured Query Language) для управления и запроса данных. - Примеры: MySQL, PostgreSQL, Oracle, Microsoft SQL Server. 1. Документо-ориентированные базы данных: - Хранят данные в виде документов (обычно JSON или BSON). - Подходят для работы с неструктурированными и полуструктурированными данными. - Примеры: MongoDB, CouchDB. 1. Ключ-значение базы данных: - Хранят данные как пары "ключ-значение". - Оптимальны для простых запросов, быстрой записи и чтения данных. - Примеры: Redis, Amazon DynamoDB, Riak. 1. Графовые базы данных: - Используются для хранения и обработки данных, представленных в виде графов (узлы и ребра). - Подходят для работы с социальными сетями, рекомендациями и сетевыми анализами. - Примеры: Neo4j, Amazon Neptune, OrientDB. 1. Колонко-ориентированные базы данных: - Хранят данные столбцами вместо строк, что позволяет эффективно обрабатывать аналитические запросы. - Используются в системах аналитики и больших данных. - Примеры аналитических колоночных СУБД: ClickHouse и Amazon Redshift. Cassandra, HBase и Bigtable относятся к семейству wide-column, которое следует отличать от колоночного хранения для аналитики. 1. Базы данных временных рядов: - Оптимизированы для хранения и обработки временных рядов данных. - Подходят для мониторинга, IoT, финансовых данных. - Примеры: InfluxDB, TimescaleDB, Prometheus. 1. Объектно-ориентированные базы данных: - Хранят данные в виде объектов, как в объектно-ориентированном программировании. - Подходят для приложений, использующих объектные модели. - Примеры: ObjectDB, db4o. 1. Базы данных на основе графиков (графовые): - Специализированы для хранения данных в виде графов, что позволяет эффективно работать с взаимосвязанными данными. - Примеры: Neo4j, Amazon Neptune. 1. NoSQL базы данных: - Включают в себя все базы данных, которые не соответствуют модели RDBMS. - Подходят для приложений, требующих высокой производительности, масштабируемости и гибкости. - Включают документо-ориентированные, ключ-значение, графовые и колонко-ориентированные базы данных. 1. Многофункциональные базы данных (Multi-model): - Поддерживают несколько моделей данных в одном движке базы данных. - Примеры: ArangoDB, OrientDB, MarkLogic. Выбор типа базы данных зависит от специфики проекта, типа данных, требований к производительности и масштабируемости, а также от других факторов, таких как структура данных и частота изменения данных. :::note[Ссылки для изучения] 1. [Что такое базы данных](https://practicum.yandex.ru/blog/chto-takoe-bazy-dannyh/) :::