solution

Một lexer tổng quát nhận một bảng toán tử tùy biến gồm $m$ chuỗi phân biệt, mỗi chuỗi dài 1 đến 4 ký tự lấy từ bộ ký tự +-*/=<>!&|:.%^~? (không chứa chữ cái, chữ số, khoảng trắng). Chuỗi nguồn $s$ chỉ gồm các chữ cái thường (tạo thành định danh) và/hoặc các ký tự thuộc bộ ký tự nói trên (phải khớp với bảng toán tử), không có khoảng trắng.

Lexer quét $s$ từ trái sang phải:

• Nếu ký tự hiện tại là chữ thường, gộp tối đa dãy chữ thường liên tiếp thành một token định danh, in ra dưới dạng ID(<dãy_chữ>).
• Ngược lại, xét tất cả toán tử trong bảng là tiền tố của phần còn lại của $s$ kể từ vị trí hiện tại; chọn toán tử dài nhất khớp được (nguyên tắc so khớp dài nhất — maximal munch) làm token, in ra chính chuỗi toán tử đó.
• Nếu tại một vị trí không có toán tử nào trong bảng khớp và ký tự đó cũng không phải chữ thường, quá trình phân tích dừng lại với lỗi.

Ví dụ: với bảng toán tử {==, =, <=, <, !=, ->} và $s =$ x<=y->z, kết quả token hóa là ID(x) <= ID(y) -> ID(z).