Hinglish не бесплатен: измерение того, что три модели платят за ответы на романизированном хинди
DEV · 12.11.2026 · 22:19
Hinglish, смешение хинди и английского, используется в Индии, и автор задается вопросом о различиях в ответах моделей на одном и том же запросе на английском и hinglish. Это стало основой…
Оригинал
hinglish isn't free: measuring what three models pay to answer in romanized hindi
hinglish - the romanized hindi-english code-mix typed across india every day - is not english. beam's own model card says it "was developed predominantly for English" (https://huggingface.co/reflection/Beam-1.0-501B-A23B). so here is a simple question: if a model gets the exact same problem in english and in hinglish, what changes? that question became hinglishbench, a small evaluation i set the direction for: my AI assistant built it and ran it on my behalf, and every number below comes from t