ОГРОМНАЯ проблема при создании приложений LLM заключается в том, что существует слишком много параметров для настройки, и это выходит далеко за рамки подсказок: разбивка на фрагменты, стратегия поиска, метаданные, и это лишь некоторые из них.
- Теперь вы можете делать это автоматически и эффективно с помощью наших новых
ParamTunerабстракций. - Определите любую целевую функцию, которую вы хотите (например, конвейер RAG с оценками),
- Поиск по сетке синхронным или асинхронным способом,
- поднимитесь на новый уровень с Ray Tune.
У LlamaIndex есть полное руководство по блокноту, показывающее, как оптимизировать пример конвейера RAG с использованием 1) размера фрагмента и 2) top-k.
- Настройка: загрузка исходных документов (llama2), определение золотого набора данных,
- Целевая функция: определить конвейер RAG для данных, выполнить оценку набора данных и вывести оценку,
- Выберите лучший размер top-k/chunk.
Попробуйте и дайте нам знать, что вы думаете!
Предостережения:
⚠️ Это экспериментальный вариант, абстракции могут быть уточнены.
⚠️ По умолчанию выполняется поиск по большой сетке. Остерегайтесь затрат 💵.
См. полное руководство .
