solution

Xét một ngôn ngữ mini với 3 loại token:

• NUMBER: khớp biểu thức chính quy $\text{digit}^+(\,.\,\text{digit}^+)?$ (số nguyên hoặc số thực, không hỗ trợ ký hiệu mũ khoa học ở bài này);
• IDENT: khớp $(\text{letter}\,|\,\_)(\text{letter}\,|\,\text{digit}\,|\,\_)^*$;
• Toán tử/dấu ngoặc đơn ký tự: mỗi ký tự trong + - * / ( ) là một token riêng biệt.

Cho một xâu $S$ liên tục (không chứa khoảng trắng). Hãy quét $S$ từ trái sang phải theo nguyên tắc so khớp dài nhất (maximal munch): tại mỗi vị trí, nếu ký tự hiện tại là chữ số, nuốt chuỗi dài nhất khớp mẫu NUMBER; nếu là chữ cái hoặc _, nuốt chuỗi dài nhất khớp mẫu IDENT; nếu là một trong +-*/(), nuốt đúng 1 ký tự đó làm token tương ứng.

Nếu tại một vị trí, ký tự hiện tại không khớp bất kỳ trường hợp nào ở trên (ví dụ ký tự đặc biệt như @, #, $, hoặc dấu chấm thứ hai liên tiếp trong một số như ở 1.2.3 sau khi đã nuốt 1.2), đây là một lỗi từ vựng (lexical error): hãy in ra tất cả token đã nhận diện được trước đó, sau đó in thêm đúng 1 dòng LEXICAL ERROR AT POSITION p với $p$ là vị trí (1-indexed) của ký tự gây lỗi, rồi dừng xử lý ngay, không xét tiếp phần còn lại của $S$.

Ví dụ 1: Input 1.2.3 → Output:

NUMBER 1.2
LEXICAL ERROR AT POSITION 4

(Sau khi nuốt 1.2, ký tự tiếp theo là dấu . ở vị trí 4, không khớp mẫu nào nên báo lỗi tại vị trí 4.)

Ví dụ 2: Input x1+42*(y-3.5) → 9 dòng token, không có lỗi (token cuối là RPAREN).